Як мовна модель створює текст крок за кроком

Коротко: Мовна модель створює текст токен за токеном. Для наступного токена вона обчислює ймовірність для кожної частини слова у словнику, обирає одну, додає й повторює, доки не зустріне кінець.

Докладніше: Це називається авторегресією. Вона не «планує» заздалегідь усе речення, кожен крок випливає з уже написаного тексту.