Optimierer: SGD, Momentum und Adam

Kurz: Der Optimierer entscheidet, wie die Gewichte anhand des Gradienten angepasst werden. SGD macht einfache Schritte, Adam passt die Schrittgröße je Gewicht an und ist heute der Standard für neuronale Netze.

Genauer: Der Gradient zeigt, in welche Richtung der Verlust steigt. Der Optimierer geht in die Gegenrichtung, die Schrittweite bestimmt die Lernrate.

Im Detail

• SGD (stochastisches Gradientenverfahren): w ← w − lr · g, der Gradient wird aus einem kleinen Teil der Daten (Mini-Batch) geschätzt. Verrauscht, aber schnell.
• Momentum: Mittelt vergangene Gradienten, rollt wie eine Kugel durch Mulden und dämpft Zickzack.
• RMSprop/Adagrad: Skalieren Schritte nach der Größe der bisherigen Gradienten.
• Adam: Kombiniert Momentum und Skalierung (erstes und zweites Moment). Standardwerte β1=0,9, β2=0,999. AdamW trennt den Gewichtszerfall davon und wird bei Sprachmodellen genutzt.
• Lernrate: Die wichtigste Einstellung. Zu groß: Training divergiert. Zu klein: dauert ewig.
• Zeitplan (Scheduler): Aufwärmen (Warmup) am Anfang, dann Abnahme (Cosinus oder linear).
• Speicher: Adam hält pro Parameter zwei Zusatzwerte, Training braucht deshalb etwa das Vierfache des Modellgewichts-Speichers, siehe vram-und-modellgröße.
• Neuere: Lion, Adafactor, Muon.

Siehe auch: gradientenabstieg-und-lernen-aus-daten, Batch, Epoche und Lernrate