← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

• FlashAttention +FlashAttention ist ein Verfahren, das die Aufmerksamkeitsrechnung speicherschonend durchführt und dadurch lange Kontexte schneller und mit weniger Speicher möglich macht.

  Statt die große Attention-Matrix komplett in den Speicher zu schreiben, rechnet FlashAttention in kleinen Blöcken im schnellen Chip-Cache. Das Ergebnis ist mathematisch dasselbe, aber der Speicherzugriff sinkt stark.

  Verwandt: Transformer-Architektur · Prefill und Decode

  Ganzer Artikel im Wiki →