k-Nearest-Neighbors, k-Means und Clustering

Kurz: k-NN klassifiziert einen Punkt nach seinen k nächsten Nachbarn. k-Means teilt Daten ohne Labels in k Gruppen (Cluster), indem es Mittelpunkte sucht.

Genauer: Beide arbeiten mit Abständen im Merkmalsraum. Deshalb müssen Merkmale vorher auf ähnliche Größenordnung skaliert werden.

Im Detail

• k-NN: Kein Training, nur Speichern. Für einen neuen Punkt die k nächsten bekannten Punkte suchen und die häufigste Klasse nehmen. Einfach, bei vielen Daten langsam.
• k-Means: Zufällige Mittelpunkte wählen → jeden Punkt dem nächsten Mittelpunkt zuordnen → Mittelpunkte neu berechnen → wiederholen, bis stabil. Man muss k vorgeben.
• DBSCAN: Findet dichte Bereiche, erkennt Ausreißer, Anzahl muss nicht vorgegeben werden.
• Hierarchisches Clustering: Baut einen Verschmelzungsbaum (Dendrogramm).
• Einsatz: Kundensegmente, Bildkomprimierung (Farbpalette), Dokumentgruppen, Empfehlungen.
• Abstandsmaße: Euklidisch, Manhattan, Kosinus (bei Text-Embeddings, siehe embedding-(vektordarstellung)).
• Fluch der Dimensionen: In sehr vielen Dimensionen werden alle Abstände ähnlich.

Siehe auch: Hauptkomponentenanalyse (PCA), Lernarten: überwacht, unüberwacht, verstärkend