Температура и сэмплирование

Коротко: Температура управляет тем, насколько случайно языковая модель выбирает следующий токен. Низкая — предсказуемо, высокая — более творчески и рискованнее.

Подробнее: Модель вычисляет вероятность для каждого возможного токена. При температуре 0 всегда выбирается самый вероятный. Более высокие значения сглаживают распределение. Top-p и top-k ограничивают выбор наиболее вероятными кандидатами.

Подробности

• Фактические задачи, код: низкая (от 0 до 0,3).
• Творческое письмо: средняя или высокая (от 0,7 до 1,0).
• Top-p (nucleus): учитываются только токены, вероятности которых в сумме дают p.
• Штраф за повторения (repetition penalty): предотвращает зацикливание.
• Seed: один и тот же seed и температура 0 обычно дают воспроизводимые результаты.

См. также: Галлюцинация (ИИ), Промпт-инжиниринг