EMZETT.Kurz erklärt
Beim Maschinellen Lernen passt ein Modell seine Parameter schrittweise so an, dass ein Fehlermaß (Loss) kleiner wird. Der Gradientenabstieg folgt dabei der Richtung des steilsten Abstiegs.
Genauer
Ein Modell macht Vorhersagen, der Loss misst die Abweichung von den richtigen Werten. Der Gradient zeigt, wie sich der Loss bei kleinen Änderungen jedes Parameters verändert. Man verschiebt die Parameter ein kleines Stück gegen den Gradienten (Lernrate). Das wiederholt man tausendfach.