Erklärbare KI: SHAP und LIME

Kurz: Erklärbare KI (XAI) will zeigen, warum ein Modell zu einer Vorhersage kam. SHAP und LIME sind zwei verbreitete Verfahren, die für einzelne Vorhersagen angeben, welche Merkmale sie wie stark beeinflusst haben.

LIME

LIME (Local Interpretable Model-agnostic Explanations) verändert die Eingabe leicht, schaut, wie sich die Vorhersage ändert, und passt daran ein einfaches Modell an, das in der Nähe dieser Eingabe gilt. Das einfache Modell ist lesbar („wegen A hoch, wegen B niedrig“). Es ist schnell, aber der Zufall der Variationen kann die Ergebnisse leicht schwanken lassen.

SHAP

SHAP stammt aus der Spieltheorie (Shapley-Werte): Jedes Merkmal ist ein „Mitspieler“, die Vorhersage der „Gewinn“. Der Wert eines Merkmals ist sein durchschnittlicher Beitrag über alle möglichen Reihenfolgen. Die Summe aller Beiträge plus ein Basiswert ergibt genau die Vorhersage. Für Baummodelle gibt es eine schnelle, exakte Variante.

Beispiel

Kreditmodell: Basis 30 % Ausfallrisiko. Einkommen −8, Schulden +12, Alter −1 → Vorhersage 33 %. Man sieht, dass vor allem die Schulden das Risiko erhöht haben.

Warnungen

• Eine Erklärung zeigt, was das Modell nutzt, nicht was in der Welt kausal ist (Kausalität statt Korrelation).
• Stark verbundene Merkmale teilen sich den Beitrag unübersichtlich.
• Bei Sprachmodellen sind andere Wege nötig, siehe Interpretierbarkeit: Was passiert im Netz?.

Siehe auch: Verzerrung, Fairness und Datenqualität