Belirteçleme: BPE ve sözlük

Kısaca: Bir dil modeli harfleri ya da tüm sözcükleri değil belirteçleri okur: sık sözcük parçalarını. Belirteçleyici metni belirteçlere böler ve her birine bir numara verir.

Biraz daha ayrıntılı: Sözlük genellikle 32.000 ila 250.000 girdi içerir. Sık sözcükler tek belirteçtir, nadirler parçalara bölünür, bilinmeyenler acil durumda tek baytlara.