EMZETT.Kurz erklärt
Der KV-Cache speichert die Zwischenergebnisse (Keys und Values) der bisherigen Tokens, damit das Modell sie nicht jedes Mal neu berechnen muss.
Genauer
Der Cache wächst mit jedem Token. Bei langem Kontext kann er mehrere Gigabyte belegen und zusätzlich zum Modell in den Speicher passen müssen. Moderne Modelle mit „Grouped-Query Attention" verkleinern ihn deutlich.