Kurz erklärt
Ein Sprachmodell arbeitet in zwei Phasen: Prefill verarbeitet den ganzen Prompt auf einmal, Decode erzeugt die Antwort Token für Token.
Genauer
Prefill ist rechenlastig und lässt sich gut parallelisieren, deshalb ist es pro Token viel schneller (hunderte bis tausende Tokens pro Sekunde). Decode ist durch die Speicherbandbreite begrenzt und läuft nur so schnell wie ein einzelner Lesezyklus durch das Modell.
EMZETT.