Klassifikation und Regression

Kurz: Klassifikation sagt eine Kategorie voraus (Katze oder Hund, Spam oder kein Spam). Regression sagt eine Zahl voraus (Preis, Temperatur).

Genauer: Beide sind Formen des überwachten Lernens und unterscheiden sich im Ausgabetyp und in der Verlustfunktion.

Im Detail

• Binäre Klassifikation: Zwei Klassen. Ausgabe oft eine Wahrscheinlichkeit zwischen 0 und 1 (Sigmoid).
• Mehrklassen: Eine Wahrscheinlichkeit pro Klasse, zusammen 1 (Softmax), siehe Softmax und Wahrscheinlichkeiten.
• Multi-Label: Mehrere Klassen gleichzeitig möglich (ein Foto mit Hund und Auto).
• Regression: Ausgabe eine reelle Zahl. Verlust häufig mittlerer quadratischer Fehler (MSE).
• Klassifikations-Verlust: Kreuzentropie, siehe Verlustfunktionen: MSE und Kreuzentropie.
• Beispiele klassisch: Lineare Regression, logistische Regression, Entscheidungsbäume (Entscheidungsbäume und Random Forest).
• Grenze: Entscheidungsgrenze trennt Klassen im Merkmalsraum, lineare Modelle ziehen eine Gerade, neuronale Netze krumme Flächen.
• Sprachmodelle: Sind im Grunde Klassifikatoren: Sie wählen bei jedem Schritt das nächste Token aus dem Vokabular.

Siehe auch: Lineare und logistische Regression, Metriken: Genauigkeit, Precision, Recall und F1