Tokens pro Sekunde

Kurz: Tokens pro Sekunde (Tok/s) misst, wie schnell ein Sprachmodell Text erzeugt. Je höher, desto flüssiger wirkt die Antwort.

Genauer: Beim Erzeugen jedes einzelnen Tokens muss die Hardware fast alle aktiven Gewichte des Modells einmal aus dem Speicher lesen. Die Geschwindigkeit ist deshalb meist durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Faustformel: Tok/s ≈ Bandbreite × Wirkungsgrad ÷ Modellgröße in Bytes.

Kontext bei uns: Der KI-Tempo-Rechner rechnet das für tausende Komponenten und Modelle aus, berücksichtigt Quantisierung, Mixture of Experts, Auslagern in den RAM und Kontextlänge.

Im Detail

• Beispiel: Ein 8-Milliarden-Modell in 4 Bit ist etwa 4,5 GB groß. Eine Grafikkarte mit 1.000 GB/s und 60 % Wirkungsgrad schafft etwa 600 ÷ 4,5 ≈ 130 Tok/s.
• Lesegeschwindigkeit: Ein Mensch liest etwa 4 bis 8 Tokens pro Sekunde. Alles darüber ist „schneller als lesen”.
• Prefill ist anders: Das Verarbeiten des Prompts ist rechenlastig und deutlich schneller pro Token (Prefill und Decode).
• Einflüsse: Quantisierung, Modellgröße, Kontext (KV-Cache), Software, Batchgröße.

Siehe auch: Speicherbandbreite, Quantisierung, Prefill und Decode