KV-Cache

Kurz: Der KV-Cache speichert die Zwischenergebnisse (Keys und Values) der bisherigen Tokens, damit das Modell sie nicht jedes Mal neu berechnen muss.

Genauer: Der Cache wächst mit jedem Token. Bei langem Kontext kann er mehrere Gigabyte belegen und zusätzlich zum Modell in den Speicher passen müssen. Moderne Modelle mit „Grouped-Query Attention” verkleinern ihn deutlich.

Im Detail

• Größe: 2 × Schichten × KV-Köpfe × Kopfgröße × Bytes pro Wert × Tokens. Ein 8-Milliarden-Modell mit 32 Schichten braucht in FP16 etwa 0,13 MB pro Token, bei 32.000 Tokens ungefähr 4 GB.
• Quantisiert: Der Cache lässt sich in 8 Bit speichern und halbiert so den Bedarf.
• Einfluss auf das Tempo: Bei langem Kontext liest jedes neue Token auch den gesamten Cache. Das bremst.
• Wiederverwendung: Ein gemeinsamer Anfang mehrerer Prompts (System-Prompt) kann im Cache bleiben („Prompt Caching”).

Siehe auch: Kontextfenster, VRAM und Modellgröße