Lange Kontexte: Techniken und Grenzen

Kurz: Moderne Modelle verarbeiten Hunderttausende bis Millionen Tokens. Das gelingt mit angepassten Positionscodierungen, effizienter Attention und viel Speicher. Trotzdem nutzen Modelle lange Kontexte nicht gleichmäßig gut.

Genauer: Attention wächst quadratisch mit der Länge, und der KV-Cache wächst linear. Beides muss beherrschbar bleiben.

Im Detail

• Training: Erst kurz, dann schrittweise mit längeren Beispielen nachtrainiert, mit gestreckten RoPE-Frequenzen, siehe Positionscodierung und RoPE.
• Effizienz: flashattention, Sliding-Window, GQA/MLA (Multi-Head-Attention und Varianten), Quantisierung des KV-Cache.
• Ring-Attention: Verteilt lange Folgen auf mehrere GPUs.
• Nadel im Heuhaufen: Test, ob ein einzelner Satz im langen Text gefunden wird. Gute Modelle bestehen, aber reale Aufgaben (Zusammenhänge über viele Stellen) sind schwerer.
• „Lost in the Middle“: Information in der Mitte wird schlechter genutzt als am Anfang und Ende.
• Kosten: Jedes Token im Kontext kostet bei jeder Antwort Rechenzeit und Speicher. Caching (Inferenz-Server: Batching, PagedAttention und vLLM) und gezielte Auswahl per rag-(retrieval-augmented-generation) sparen.
• Praxis: Nur Relevantes in den Kontext legen, Wichtiges an Anfang oder Ende, lange Gespräche zusammenfassen.

Siehe auch: kontextfenster, kv-cache