Температура — это параметр генерации языковой модели, который регулирует, насколько случайным будет выбор следующего слова. Низкая температура даёт предсказуемые, повторяемые ответы, высокая — более разнообразные и неожиданные.
Модель на каждом шаге считает вероятности для всех возможных токенов и выбирает один из них. Температура меняет форму этого распределения. При значении около 0 почти всегда побеждает самый вероятный токен, и на один и тот же вопрос модель отвечает почти одинаково. При значении 1 вероятности остаются «как есть», и выбор получается более живым. Выше 1 распределение выравнивается: редкие варианты получают шанс, текст становится творческим, но легче теряет смысл и факты. Диапазон зависит от сервиса: чаще всего это значения от 0 до 1 или до 2.
Параметр доступен в API большинства LLM и в настройках многих сервисов. В обычном чате с ChatGPT его не видно: там он подобран разработчиками заранее.
Пример
Вопрос: «Придумай название для кофейни». При температуре 0 модель каждый раз выдаст один и тот же стандартный вариант. При 0,8 получится разный набор: «Зерно», «Бариста и точка», «Пятый акт». При 1,5 в списке могут появиться странные сочетания слов без смысла.
Как выбрать значение
- Для извлечения данных, классификации, кода и ответов по документам ставьте 0–0,3: здесь важна точность и повторяемость.
- Для текстов, заголовков и идей берите 0,7–1: хватает разнообразия, и смысл не разваливается.
- Для мозгового штурма пробуйте выше 1, но проверяйте результат глазами.
- Меняйте только один параметр за раз и сравнивайте 5–10 ответов на одном запросе.
Типичные ошибки
- Думать, что низкая температура защищает от выдумок. Она делает ответ стабильным, но модель с температурой 0 может так же уверенно ошибаться. От галлюцинаций помогают источники, а не температура.
- Ставить высокую температуру для фактов, цифр и юридических текстов.
- Ожидать полностью одинаковых ответов при 0: у некоторых сервисов остаются мелкие различия из-за особенностей вычислений.
- Одновременно крутить температуру и другие параметры выбора, например top-p, и не понимать, что именно изменилось.
Чем отличается от top-p
Температура меняет сами вероятности, а top-p ограничивает набор кандидатов: модель выбирает только из самых вероятных токенов, чьи вероятности в сумме дают заданную долю. Оба параметра управляют разнообразием, поэтому обычно меняют один из них.
Кому и когда это нужно
Разработчикам, которые встраивают модель в продукт через API, и тем, кто строит промпты для повторяющихся задач. Если вы работаете в чате без настроек, достаточно знать, что повторный запрос может дать другой ответ, и это нормально.
Частый вопрос
Какая температура лучше всего? Универсальной нет: для точных задач берите 0–0,3, для текстов и идей — 0,7–1. Подбирайте значение на своих примерах, а не по чужим рекомендациям.