Metriken: Genauigkeit, Precision, Recall und F1

Kurz: Mit Metriken misst man, wie gut ein Modell ist. Bei Klassifikation sind das Genauigkeit (Accuracy), Precision, Recall und F1. Welche zählt, hängt davon ab, welche Fehler schlimmer sind.

Genauer: Grundlage ist die Verwechslungsmatrix (Confusion Matrix) mit vier Feldern: richtig positiv (TP), falsch positiv (FP), richtig negativ (TN), falsch negativ (FN).

Im Detail

• Accuracy: (TP + TN) / alle. Irreführend bei unausgewogenen Klassen: Wenn nur 1 % krank ist, erreicht „immer gesund“ 99 %.
• Precision: TP / (TP + FP). Von allem, was als positiv gemeldet wurde, wie viel stimmt? Wichtig, wenn Fehlalarme teuer sind (Spamfilter löscht echte Mail).
• Recall (Sensitivität): TP / (TP + FN). Von allem Positiven, wie viel wurde gefunden? Wichtig, wenn Übersehen teuer ist (Krebs-Screening).
• F1: Harmonisches Mittel aus Precision und Recall: 2·P·R / (P + R).
• ROC-AUC: Fläche unter der Kurve aus Trefferquote und Fehlalarmrate, unabhängig vom Schwellenwert.
• Regression: MAE (mittlerer absoluter Fehler), RMSE, R².
• Sprachmodelle: Perplexität, Benchmarks, menschliche Bewertung, siehe benchmarks-für-sprachmodelle.
• Schwelle: Der Schwellenwert für „positiv“ ist wählbar und verschiebt Precision gegen Recall.

Siehe auch: Training, Validierung und Test, Klassifikation und Regression