Kontextfenster

Kurz: Das Kontextfenster ist die Menge an Text (in Tokens), die ein Sprachmodell gleichzeitig berücksichtigen kann: Frage, bisheriger Verlauf, Dokumente und Antwort zusammen.

Genauer: Ältere Modelle hatten 2.000 bis 8.000 Tokens, aktuelle 128.000 bis über eine Million. Je größer das Fenster, desto mehr Speicher braucht der KV-Cache, und desto langsamer wird jedes neue Token.

Im Detail

• Verlorene Mitte: Modelle nutzen Informationen am Anfang und Ende langer Texte oft besser als in der Mitte.
• Kein Gedächtnis: Was nicht im Fenster steht, kennt das Modell nicht. Anwendungen schicken deshalb den Verlauf mit oder fassen ihn zusammen.
• RAG: Statt alles ins Fenster zu legen, holt RAG (Retrieval-Augmented Generation) nur die passenden Textstücke.
• Kosten: Lange Prompts kosten Zeit und bei Cloud-Anbietern Geld.

Siehe auch: Token (KI), RAG (Retrieval-Augmented Generation)