EMZETT.Kurz erklärt
Ein Token ist der kleine Textbaustein, in den ein Sprachmodell Text zerlegt. Ein Token ist oft ein Wortteil, ein kurzes Wort oder ein Satzzeichen.
Genauer
Im Deutschen entspricht ein Token grob 3 bis 4 Buchstaben, im Englischen etwa 4. 1.000 Tokens sind ungefähr 700 bis 750 englische Wörter, deutsche Texte brauchen wegen langer zusammengesetzter Wörter etwas mehr Tokens.