Hauptkomponentenanalyse (PCA)

Kurz: PCA findet die Richtungen in den Daten mit der größten Streuung und beschreibt die Daten mit wenigen davon. So werden viele Merkmale auf wenige zusammengefasst, ohne viel Information zu verlieren.

Genauer: Die Daten werden um den Mittelwert verschoben, dann berechnet man die Eigenvektoren der Kovarianzmatrix. Die Eigenvektoren mit den größten Eigenwerten sind die Hauptkomponenten.

Im Detail

• Ziel: Weniger Dimensionen für Visualisierung (2D/3D), schnellere Modelle, Rauschen entfernen.
• Erklärte Varianz: Man behält so viele Komponenten, bis zum Beispiel 95 % der Streuung erklärt sind.
• Ablauf: Zentrieren → Kovarianzmatrix → Eigenzerlegung (oder SVD) → Daten projizieren.
• Grenzen: Nur lineare Zusammenhänge. Für nichtlineare Strukturen eignen sich t-SNE und UMAP für Visualisierung.
• Embeddings sichtbar machen: Hochdimensionale Vektoren (siehe embedding-(vektordarstellung)) werden mit PCA, t-SNE oder UMAP auf 2D gebracht.
• Standardisieren: Merkmale vorher auf gleiche Skala bringen.

Siehe auch: k-Nearest-Neighbors, k-Means und Clustering, Daten, Merkmale und Labels