Wie ein Sprachmodell trainiert wird

Kurz: Ein Sprachmodell wird in Stufen trainiert: Vortraining (nächstes Token auf riesigen Textmengen vorhersagen), Nachtraining (Anweisungen befolgen) und Feinabstimmung mit menschlichem Feedback. Das Vortraining kostet fast die gesamte Rechenzeit.

Genauer: Beim Vortraining liest das Modell Billionen Token aus Web-Seiten, Büchern, Code, Papers. Für jede Position soll es das nächste Token vorhersagen. Der Fehler ist die Kreuzentropie. Dabei lernt es Grammatik, Fakten, Muster und Denkschemata, weil sie dem Vorhersagen helfen.

Im Detail

• Daten: Gefiltert, entdoppelt, in Qualitätsstufen gemischt. Web-Crawls (Common Crawl), Bücher, Wikipedia, Code (GitHub), wissenschaftliche Texte, synthetische Daten.
• Umfang: Aktuelle große Modelle sehen zehn Billionen und mehr Token.
• Rechenaufwand: Grob 6 · Parameter · Token Rechenoperationen (FLOPs). Ein 70-Milliarden-Modell mit 15 Billionen Token braucht etwa 6·10²⁴ FLOPs, Wochen auf Tausenden GPUs.
• Stufen:
  1. Vortraining (selbstüberwacht).
  2. Kontext-Verlängerung (längere Beispiele).
  3. Instruktions-Tuning und Chat-Format (Anleitung folgen).
  4. RLHF und Präferenzoptimierung (Hilfsbereit, ehrlich, unschädlich).
  5. Reasoning-Modelle und Chain of Thought (Verstärkungslernen auf Aufgaben mit prüfbarer Lösung).
• Skalierung: Mehr Parameter, Daten und Rechenzeit verbessern den Verlust vorhersagbar, siehe Skalierungsgesetze.
• Wissens-Stichtag: Das Modell weiß nur, was bis zu den Trainingsdaten bekannt war (Knowledge Cutoff).
• Hardware: Training im Großen: GPUs, Parallelität und Speicher.

Siehe auch: Wie ein Sprachmodell Text erzeugt: Schritt für Schritt, finetuning-und-lora