Verlustfunktionen: MSE und Kreuzentropie

Kurz: Die Verlustfunktion (Loss) ist eine Zahl, die misst, wie falsch die Vorhersage eines Modells ist. Training heißt, diese Zahl zu verkleinern.

Genauer: Ohne ein messbares Ziel kann man nichts optimieren. Die Wahl der Verlustfunktion bestimmt, was das Modell als „gut“ versteht.

Im Detail

• MSE (mittlerer quadratischer Fehler): (1/n) Σ (y − ŷ)². Für Regression. Große Fehler zählen überproportional.
• MAE: Mittlerer absoluter Fehler, weniger empfindlich gegen Ausreißer.
• Kreuzentropie: −Σ y·log(p). Für Klassifikation. Je sicherer das Modell bei der falschen Klasse ist, desto größer der Verlust. Bei Sprachmodellen: negativer Logarithmus der Wahrscheinlichkeit des richtigen nächsten Tokens.
• Perplexität: e^(Verlust), anschaulich die „effektive Zahl gleichwahrscheinlicher Alternativen“ beim Raten des nächsten Tokens.
• Hinge-Loss, Huber-Loss, Kontrastive Verluste (für Embeddings) sind weitere.
• Regularisierung: Zusätzliche Strafterme gegen zu große Gewichte.
• Gesamtbild: Verlust → Gradient → Gewichte anpassen, siehe gradientenabstieg-und-lernen-aus-daten.
• Vorsicht: Ein niedriger Verlust heißt nicht automatisch ein nützliches Modell. Falsches Ziel führt zu Fehlverhalten („Reward Hacking“).

Siehe auch: Softmax und Wahrscheinlichkeiten, Optimierer: SGD, Momentum und Adam