Tokenisierung: BPE und Vokabular

Kurz: Ein Sprachmodell liest keine Buchstaben oder ganzen Wörter, sondern Tokens: häufige Wortteile. Der Tokenizer zerlegt Text in Tokens und ordnet jedem eine Nummer zu.

Genauer: Das Vokabular hat meist 32.000 bis 250.000 Einträge. Häufige Wörter sind ein Token, seltene werden in Teile zerlegt, unbekannte im Notfall in einzelne Bytes. So gibt es nie ein unbekanntes Wort.

Im Detail

• BPE (Byte-Pair Encoding): Starte mit einzelnen Zeichen/Bytes. Verschmilz immer wieder das häufigste benachbarte Paar zu einem neuen Token, bis das Vokabular voll ist. Dieser Ablauf wird aus dem Trainingstext gelernt.
• Beispiel: „Unglaublich“ → Un glaub lich. Ein englisches Wort ist oft 1 Token, ein langes deutsches Wort 3 bis 5.
• Faustregel: Englisch etwa 4 Zeichen oder ¾ Wort pro Token, Deutsch weniger Zeichen pro Token, Code und Sonderzeichen ebenfalls.
• Tools: SentencePiece, tiktoken, Hugging Face Tokenizers.
• Folgen: Rechnen, Zählen von Buchstaben („wie viele r in Erdbeere“) und Reime sind schwer, weil das Modell Tokens sieht, nicht Buchstaben.
• Kosten: APIs rechnen pro Token ab, siehe token-(ki).
• Spezial-Tokens: Anfang, Ende, Rollenmarker (<|user|>).
• Mehrsprachigkeit: Sprachen mit weniger Trainingstext brauchen oft mehr Tokens je Satz und sind dadurch teurer.

Siehe auch: token-(ki), embedding-(vektordarstellung)