Lineare und logistische Regression

Kurz: Die lineare Regression legt eine Gerade (oder Ebene) durch Datenpunkte: Ausgabe = Gewicht × Eingabe + Achsenabschnitt. Die logistische Regression macht daraus mit einer Sigmoid-Funktion eine Wahrscheinlichkeit für zwei Klassen.

Genauer: Beide sind die einfachsten lernenden Modelle und stecken als Baustein in neuronalen Netzen: Ein einzelnes Neuron ist im Kern eine lineare Regression mit Aktivierungsfunktion.

Im Detail

• Lineare Regression: y = w1·x1 + w2·x2 + … + b. Gewichte w und b werden so gewählt, dass der mittlere quadratische Fehler minimal ist. Es gibt eine geschlossene Lösung (Normalgleichung) und das Gradientenverfahren.
• Logistische Regression: p = σ(w·x + b) mit σ(z) = 1 / (1 + e^(-z)). Ausgabe zwischen 0 und 1, als Wahrscheinlichkeit zu deuten. Verlust: Kreuzentropie.
• Interpretation: Das Vorzeichen und die Größe von w zeigen, wie ein Merkmal wirkt, deshalb gut erklärbar.
• Grenzen: Nur lineare Zusammenhänge (außer mit Merkmals-Tricks wie Quadrieren).
• Regularisierung: L1 (Lasso) macht Gewichte genau null, L2 (Ridge) macht sie klein.
• Beispiel: Preis ≈ 3000·Fläche + 20000·Zimmer + 15000.

Siehe auch: Klassifikation und Regression, Neuronen, Schichten und Aktivierungsfunktionen