Gradientenabstieg und Lernen aus Daten

Kurz: Beim Maschinellen Lernen passt ein Modell seine Parameter schrittweise so an, dass ein Fehlermaß (Loss) kleiner wird. Der Gradientenabstieg folgt dabei der Richtung des steilsten Abstiegs.

Genauer: Ein Modell macht Vorhersagen, der Loss misst die Abweichung von den richtigen Werten. Der Gradient zeigt, wie sich der Loss bei kleinen Änderungen jedes Parameters verändert. Man verschiebt die Parameter ein kleines Stück gegen den Gradienten (Lernrate). Das wiederholt man tausendfach.

Im Detail

• Update-Regel: w ← w − η · ∂L/∂w (η = Lernrate).
• Lernrate: Zu groß: Springen/Divergenz. Zu klein: Langsam.
• Stochastisch/Mini-Batch: Gradient aus kleinen Datenstücken statt aus allen Daten, schneller und rauschig.
• Optimierer: Momentum, Adam (adaptive Lernraten), AdamW.
• Lokale Minima und Sattelpunkte: In hohen Dimensionen meist unproblematisch.
• Loss-Beispiele: Mittlerer quadratischer Fehler (Regression), Kreuzentropie (Klassifikation).
• Normalisierung und gute Initialisierung stabilisieren das Training.

Siehe auch: Neuronale Netze und Backpropagation, Überanpassung und Bias-Varianz-Abwägung