EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
2 Treffer
KV-Cache Der KV-Cache speichert die Zwischenergebnisse (Keys und Values) der bisherigen Tokens, damit das Modell sie nicht jedes Mal neu berechnen muss.
Der Cache wächst mit jedem Token. Bei langem Kontext kann er mehrere Gigabyte belegen und zusätzlich zum Modell in den Speicher passen müssen. Moderne Modelle mit „Grouped-Query Attention" verkleinern ihn deutlich.
Verwandt: Kontextfenster · VRAM und Modellgröße · Prefill und Decode · Transformer-Architektur
Ganzer Artikel im Wiki →Kontextfenster Das Kontextfenster ist die Menge an Text (in Tokens), die ein Sprachmodell gleichzeitig berücksichtigen kann: Frage, bisheriger Verlauf, Dokumente und Antwort zusammen.
Ältere Modelle hatten 2.000 bis 8.000 Tokens, aktuelle 128.000 bis über eine Million. Je größer das Fenster, desto mehr Speicher braucht der KV-Cache, und desto langsamer wird jedes neue Token.
Verwandt: KV-Cache · RAG (Retrieval-Augmented Generation) · Token (KI)
Ganzer Artikel im Wiki →