EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
2 Treffer
Tokens pro Sekunde Tokens pro Sekunde (Tok/s) misst, wie schnell ein Sprachmodell Text erzeugt. Je höher, desto flüssiger wirkt die Antwort.
Beim Erzeugen jedes einzelnen Tokens muss die Hardware fast alle aktiven Gewichte des Modells einmal aus dem Speicher lesen. Die Geschwindigkeit ist deshalb meist durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Faustformel: Tok/s ≈ Bandbreite × Wirkungsgrad ÷ Modellgröße in Bytes.
Verwandt: Prefill und Decode · Speicherbandbreite · Mixture of Experts (MoE) · Quantisierung · Spekulatives Decoding · Token (KI)
Ganzer Artikel im Wiki →Prefill und Decode Ein Sprachmodell arbeitet in zwei Phasen: Prefill verarbeitet den ganzen Prompt auf einmal, Decode erzeugt die Antwort Token für Token.
Prefill ist rechenlastig und lässt sich gut parallelisieren, deshalb ist es pro Token viel schneller (hunderte bis tausende Tokens pro Sekunde). Decode ist durch die Speicherbandbreite begrenzt und läuft nur so schnell wie ein einzelner Lesezyklus durch das Modell.
Verwandt: Tokens pro Sekunde · FlashAttention · KV-Cache · Spekulatives Decoding · Zahlenformate: FP32, FP16, BF16 und FP8
Ganzer Artikel im Wiki →