Token (KI)

Kurz: Ein Token ist der kleine Textbaustein, in den ein Sprachmodell Text zerlegt. Ein Token ist oft ein Wortteil, ein kurzes Wort oder ein Satzzeichen.

Genauer: Im Deutschen entspricht ein Token grob 3 bis 4 Buchstaben, im Englischen etwa 4. 1.000 Tokens sind ungefähr 700 bis 750 englische Wörter, deutsche Texte brauchen wegen langer zusammengesetzter Wörter etwas mehr Tokens.

Kontext bei uns: Im KI-Tempo-Rechner wird die Geschwindigkeit in Tokens pro Sekunde angegeben und in Wörter und Buchseiten pro Minute umgerechnet.

Im Detail

• Tokenizer: Ein Verfahren (z. B. Byte-Pair-Encoding), das die häufigsten Zeichenfolgen zu Tokens zusammenfasst.
• Warum Tokens: Das Modell arbeitet mit Zahlen. Jedes Token hat eine Nummer und einen Vektor (Embedding (Vektordarstellung)).
• Kosten: Anbieter rechnen Eingabe- und Ausgabe-Tokens ab.
• Kontextfenster: Die maximale Zahl der Tokens, die ein Modell auf einmal berücksichtigt (Kontextfenster).

Siehe auch: Tokens pro Sekunde, Kontextfenster