Skalierungsgesetze

Kurz: Skalierungsgesetze beschreiben, dass der Verlust eines Sprachmodells vorhersagbar sinkt, wenn man Parameter, Trainingsdaten und Rechenzeit gleichmäßig erhöht. Die Beziehung folgt grob einem Potenzgesetz.

Genauer: Die Arbeit von OpenAI (2020) und die „Chinchilla“-Studie von DeepMind (2022) zeigten, dass bei gegebenem Rechenbudget Modellgröße und Datenmenge ausgewogen wachsen sollten: etwa 20 Token pro Parameter.

Im Detail

• Potenzgesetz: Doppelter Aufwand bringt jeweils eine gleich große prozentuale Verbesserung des Verlusts, mit abnehmendem Ertrag.
• Chinchilla-Optimum: Für 70 Milliarden Parameter etwa 1,4 Billionen Token. Viele frühere Modelle waren zu groß und zu wenig trainiert.
• Über das Optimum hinaus: Heute trainiert man kleinere Modelle weit länger (Llama 3 mit 8 Milliarden Parametern auf 15 Billionen Token), weil Inferenz dann billiger ist. Das Training kostet einmal, die Nutzung dauerhaft.
• Emergenz: Manche Fähigkeiten (Rechnen in mehreren Schritten) scheinen erst ab einer Größe aufzutauchen. Ob das echt ist oder Messartefakt, ist umstritten.
• Neue Achse: Mehr Rechenzeit bei der Nutzung (Nachdenken), siehe Reasoning-Modelle und Chain of Thought.
• Grenzen: Hochwertige Texte sind endlich („Datenwand“). Synthetische Daten und Mehrmals-Lesen helfen.
• Kosten: Die Spitze verlangt Milliarden-Investitionen, siehe energieverbrauch-von-ki.

Siehe auch: Wie ein Sprachmodell trainiert wird, parameter-(ki-modell)