«Температура» — параметр, который управляет тем, насколько «творчески» или предсказуемо модель выбирает следующее слово в ответе. Высокая температура даёт более разнообразные, иногда неожиданные формулировки — полезно для написания стихов или мозгового штурма. Низкая — более предсказуемые, консервативные ответы.
Почему для поддержки нужна именно низкая
Клиент, который дважды спросил одно и то же (например, перепроверяет условие доставки), должен получить согласованный ответ оба раза, а не два творчески разных варианта, которые случайно противоречат друг другу. Предсказуемость здесь важнее «живости» текста.
Где творчество агента всё же уместно
В формулировке — в том, как сказать факт по-человечески, а не в том, что сказать по сути. Разные фразы одного и того же факта («доставка займёт 2-3 дня» / «привезём в течение пары дней») — это нормальное разнообразие языка, а не расхождение в самом ответе.