Encoder, Decoder und die Modellfamilien (BERT, GPT, T5)

Kurz: Es gibt drei Bauarten von Transformern: nur Encoder (BERT, versteht Text), nur Decoder (GPT, erzeugt Text) und Encoder-Decoder (T5, übersetzt Eingabe in Ausgabe). Fast alle heutigen Chat-Modelle sind reine Decoder.

Genauer: Der Unterschied liegt in der Attention-Maske: Encoder sehen in beide Richtungen, Decoder nur nach links.

Im Detail

• Encoder (BERT, 2018): Bidirektional. Trainiert durch Lückentexte („maskiertes Sprachmodell“). Gut für Klassifikation, Suche und Embeddings. Erzeugt keinen Text.
• Decoder (GPT): Kausal, sagt das nächste Token voraus. Erzeugt Text, die Grundlage von ChatGPT, Claude, Llama, Gemini u. a.
• Encoder-Decoder (T5, BART, Original-Transformer): Der Encoder liest die Eingabe, der Decoder schreibt die Ausgabe und schaut per Cross-Attention in den Encoder. Gut für Übersetzung und Zusammenfassung.
• Warum Decoder dominieren: Ein einziges Training („nächstes Token“) auf riesigen Textmengen, das sich mit Prompts für fast jede Aufgabe nutzen lässt.
• Embedding-Modelle: Meist Encoder oder umgebaute Decoder, siehe embedding-(vektordarstellung).
• Whisper: Encoder-Decoder für Sprache zu Text.

Siehe auch: transformer-architektur, Wie ein Sprachmodell Text erzeugt: Schritt für Schritt