EMZETT.Kurz erklärt
Das Kontextfenster ist die Menge an Text (in Tokens), die ein Sprachmodell gleichzeitig berücksichtigen kann: Frage, bisheriger Verlauf, Dokumente und Antwort zusammen.
Genauer
Ältere Modelle hatten 2.000 bis 8.000 Tokens, aktuelle 128.000 bis über eine Million. Je größer das Fenster, desto mehr Speicher braucht der KV-Cache, und desto langsamer wird jedes neue Token.