Tokenizer-Fallen: Zahlen, Code und Emojis

Kurz: Sprachmodelle sehen keinen Text, sondern Token. Weil der Tokenizer Wörter, Zahlen und Zeichen unterschiedlich zerlegt, entstehen typische Fallen: Rechenfehler, falsch gezählte Buchstaben und ungleiche Kosten je Sprache.

Warum das wichtig ist

Ein Tokenizer (siehe Tokenisierung, BPE und Vokabular) schneidet Text in häufige Stücke. Das Modell lernt nur die Stücke, nicht die einzelnen Buchstaben darin.

• Zahlen: „12345“ kann als „123“ und „45“ oder als einzelne Ziffern zerlegt werden. Je nach Zerlegung rechnet das Modell mal besser, mal schlechter. Moderne Tokenizer zerlegen Zahlen deshalb oft in feste Ziffernblöcke.
• Buchstaben zählen: Die Frage „Wie viele r hat Erdbeere?“ ist schwer, weil „Erdbeere“ vielleicht nur zwei Token sind und die Buchstaben darin dem Modell nicht direkt sichtbar sind.
• Code: Einrückungen, Leerzeichen und seltene Bezeichner kosten viele Token. Ein Tab oder vier Leerzeichen sind je nach Tokenizer ein oder mehrere Token.
• Emojis und seltene Schriften: Ein Emoji besteht in UTF-8 aus mehreren Bytes und kann mehrere Token kosten. Bei seltenen Sprachen ist der Text oft deutlich länger in Token als auf Englisch, also teurer und kürzer im Kontextfenster.
• Leerzeichen: „Hallo“ und „ Hallo“ (mit Leerzeichen davor) sind oft verschiedene Token.

Was man tun kann

1. Token zählen, bevor man Kosten schätzt (Tokenizer-Bibliotheken der Anbieter).
2. Bei Rechnungen und Zählaufgaben ein Werkzeug (Taschenrechner, Code) nutzen lassen, siehe Werkzeugnutzung, Agenten und MCP.
3. Wichtige Zahlen und Namen im Prompt klar trennen (Zeilen, Trennzeichen).

Siehe auch: Kontextfenster, Tokenisierung, BPE und Vokabular