Prefill und Decode

Kurz: Ein Sprachmodell arbeitet in zwei Phasen: Prefill verarbeitet den ganzen Prompt auf einmal, Decode erzeugt die Antwort Token für Token.

Genauer: Prefill ist rechenlastig und lässt sich gut parallelisieren, deshalb ist es pro Token viel schneller (hunderte bis tausende Tokens pro Sekunde). Decode ist durch die Speicherbandbreite begrenzt und läuft nur so schnell wie ein einzelner Lesezyklus durch das Modell.

Kontext bei uns: Der KI-Tempo-Rechner zeigt beide Werte: wie schnell der Prompt verarbeitet wird und wie schnell die Antwort entsteht.

Im Detail

• Time to first token: Die Wartezeit bis zum ersten Wort entspricht der Prefill-Zeit. Lange Dokumente verlängern sie.
• Compute vs. Bandbreite: Prefill braucht TFLOPS, Decode GB/s.
• Batching: Mehrere Anfragen gleichzeitig nutzen die Bandbreite besser aus, weil die Gewichte nur einmal gelesen werden.
• Kontext: Je länger der Kontext, desto mehr muss der KV-Cache pro Token gelesen werden.

Siehe auch: Tokens pro Sekunde, KV-Cache