EMZETT.Kurz erklärt
Der Transformer ist die Architektur hinter fast allen modernen Sprachmodellen. Seine Kernidee ist die Aufmerksamkeit (Attention).
Genauer
Beim Attention-Mechanismus berechnet das Modell für jedes Token, wie wichtig jedes andere Token des Kontexts für sein Verständnis ist. Das erlaubt es, weit entfernte Bezüge zu erfassen. Veröffentlicht wurde die Architektur 2017 im Papier „Attention Is All You Need".