Температура та семплування

Коротко: Температура керує тим, наскільки випадково мовна модель обирає наступний токен. Низька — передбачувано, висока — творчіше й ризикованіше.

Докладніше: Модель обчислює ймовірність для кожного можливого токена. За температури 0 завжди обирається найімовірніший. Вищі значення згладжують розподіл. Top-p і top-k обмежують вибір найімовірнішими кандидатами.

Подробиці

• Фактичні завдання, код: низька (від 0 до 0,3).
• Творче письмо: середня або висока (від 0,7 до 1,0).
• Top-p (nucleus): враховуються лише токени, ймовірності яких у сумі дають p.
• Штраф за повторення (repetition penalty): запобігає зацикленню.
• Seed: той самий seed і температура 0 зазвичай дають відтворювані результати.

Див. також: Галюцинація (ШІ), Промпт-інжиніринг