Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Transformer-Architektur Der Transformer ist die Architektur hinter fast allen modernen Sprachmodellen. Seine Kernidee ist die Aufmerksamkeit (Attention).
Beim Attention-Mechanismus berechnet das Modell für jedes Token, wie wichtig jedes andere Token des Kontexts für sein Verständnis ist. Das erlaubt es, weit entfernte Bezüge zu erfassen. Veröffentlicht wurde die Architektur 2017 im Papier „Attention Is All You Need".
Verwandt: FlashAttention · KV-Cache · Parameter (KI-Modell) · Neuronale Netze und Backpropagation
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Transformer-Architektur Der Transformer ist die Architektur hinter fast allen modernen Sprachmodellen. Seine Kernidee ist die Aufmerksamkeit (Attention).
Beim Attention-Mechanismus berechnet das Modell für jedes Token, wie wichtig jedes andere Token des Kontexts für sein Verständnis ist. Das erlaubt es, weit entfernte Bezüge zu erfassen. Veröffentlicht wurde die Architektur 2017 im Papier „Attention Is All You Need".
Verwandt: FlashAttention · KV-Cache · Parameter (KI-Modell) · Neuronale Netze und Backpropagation
Ganzer Artikel im Wiki →