Токенизация: BPE и словарь

Коротко: Языковая модель читает не буквы и не целые слова, а токены: частые части слов. Токенизатор разбивает текст на токены и присваивает каждому номер.

Подробнее: Словарь обычно содержит от 32 000 до 250 000 записей. Частые слова — один токен, редкие разбиваются на части, неизвестные в крайнем случае на отдельные байты.