EMZETT.Anomalie-Erkennung
Kurz: Anomalie-Erkennung findet Daten, die nicht zum Normalen passen: Betrug, Defekte, Einbrüche im Netzwerk. Meist gibt es kaum Beispiele für das Abweichende, deshalb lernt man das Normale und sucht das Ungewöhnliche.
Warum nicht einfach Klassifikation?
Anomalien sind selten (oft unter 1 %) und ständig neu. Ein Klassifikator braucht viele beschriftete Beispiele jeder Klasse. Bei Anomalien hat man sie nicht.
Verfahren
- Statistik: Werte weit weg vom Mittelwert (zum Beispiel mehr als 3 Standardabweichungen) oder außerhalb der Quartilsgrenzen gelten als auffällig. Einfach, aber nur für einzelne Größen.
- Isolation Forest: Zufällige Bäume teilen die Daten. Ungewöhnliche Punkte sind schon nach wenigen Schnitten isoliert, normale brauchen viele. Kurze Pfade = verdächtig.
- Abstand und Dichte: Punkte, die weit von ihren Nachbarn liegen (k-Nächste-Nachbarn, LOF), siehe k-Nearest-Neighbors, k-Means und Clustering.
- Rekonstruktion: Ein Autoencoder wird nur auf normalen Daten trainiert. Bei Anomalien ist der Rekonstruktionsfehler hoch.
- Zeitreihen: Abweichung von der Prognose, siehe Zeitreihen und Prognosen mit KI.
Auf die Bewertung kommt es an
Wegen der Seltenheit täuscht die Genauigkeit: 99 % „alles normal“ ist 99 % richtig und nutzlos. Besser sind Precision und Recall (Metriken: Genauigkeit, Precision, Recall und F1). Und jeder Alarm kostet Aufmerksamkeit, deshalb ist die Schwelle eine Geschäftsentscheidung.
Siehe auch: Daten, Merkmale und Labels