EMZETT.Kurz erklärt
FlashAttention ist ein Verfahren, das die Aufmerksamkeitsrechnung speicherschonend durchführt und dadurch lange Kontexte schneller und mit weniger Speicher möglich macht.
Genauer
Statt die große Attention-Matrix komplett in den Speicher zu schreiben, rechnet FlashAttention in kleinen Blöcken im schnellen Chip-Cache. Das Ergebnis ist mathematisch dasselbe, aber der Speicherzugriff sinkt stark.