FlashAttention

Kurz: FlashAttention ist ein Verfahren, das die Aufmerksamkeitsrechnung speicherschonend durchführt und dadurch lange Kontexte schneller und mit weniger Speicher möglich macht.

Genauer: Statt die große Attention-Matrix komplett in den Speicher zu schreiben, rechnet FlashAttention in kleinen Blöcken im schnellen Chip-Cache. Das Ergebnis ist mathematisch dasselbe, aber der Speicherzugriff sinkt stark.

Im Detail

• Wirkung: Weniger VRAM bei langem Kontext, schnelleres Prefill.
• Einsatz: In llama.cpp, PyTorch, vLLM und anderen als Option oder Standard.
• Voraussetzung: Neuere Karten und passende Software-Versionen.

Siehe auch: Transformer-Architektur, Prefill und Decode