Токенізація: BPE і словник

Коротко: Мовна модель читає не літери й не цілі слова, а токени: часті частини слів. Токенізатор розбиває текст на токени й присвоює кожному номер.

Докладніше: Словник зазвичай містить від 32 000 до 250 000 записів. Часті слова — один токен, рідкісні розбиваються на частини, невідомі за крайньої потреби на окремі байти.