Декодирование: greedy, beam search, top-k и top-p

Коротко: По вероятностям следующего токена нужно сделать выбор. Метод для этого называется декодированием: greedy, beam search или случайный выбор с top-k и top-p.

Подробнее: Выбор определяет, будут ли ответы надёжными и однообразными или разнообразными.