Transformer-Architektur

Kurz: Der Transformer ist die Architektur hinter fast allen modernen Sprachmodellen. Seine Kernidee ist die Aufmerksamkeit (Attention).

Genauer: Beim Attention-Mechanismus berechnet das Modell für jedes Token, wie wichtig jedes andere Token des Kontexts für sein Verständnis ist. Das erlaubt es, weit entfernte Bezüge zu erfassen. Veröffentlicht wurde die Architektur 2017 im Papier „Attention Is All You Need”.

Im Detail

• Schichten: Viele gleichartige Blöcke aus Attention und einem Feed-Forward-Netz.
• Decoder-only: GPT, Llama, Qwen erzeugen Text Token für Token.
• Quadratisches Wachstum: Die Rechnung für Attention wächst quadratisch mit der Kontextlänge. FlashAttention und weitere Verfahren schwächen das ab.
• Positionen: Rotary Embeddings (RoPE) geben die Reihenfolge an.

Siehe auch: Parameter (KI-Modell), KV-Cache