Как языковая модель создаёт текст шаг за шагом

Коротко: Языковая модель создаёт текст токен за токеном. Для следующего токена она вычисляет вероятность для каждой части слова в словаре, выбирает одну, добавляет и повторяет, пока не встретит конец.

Подробнее: Это называется авторегрессией. Она не «планирует» заранее всё предложение, каждый шаг вытекает из уже написанного текста.