Interpretierbarkeit: Was passiert im Netz?

Kurz: Neuronale Netze sind „Black Boxes“: Man sieht die Zahlen, versteht aber nicht sofort, warum sie zu einer Antwort führen. Die Interpretierbarkeits-Forschung versucht, das Innere verständlich zu machen.

Genauer: Es gibt zwei Richtungen: Erklärungen für einzelne Vorhersagen (warum diese Entscheidung?) und Verständnis der inneren Mechanismen (was berechnet das Netz?).

Im Detail

• Wichtigkeit von Merkmalen: SHAP und LIME zeigen, welche Eingaben eine Vorhersage beeinflusst haben.
• Saliency/Heatmaps: Bei Bildern markieren sie Bereiche, auf die das Modell achtet (Grad-CAM).
• Attention-Karten: Zeigen, worauf Köpfe achten, sind aber keine volle Erklärung.
• Mechanistische Interpretierbarkeit: Sucht in Sprachmodellen nach Merkmalen und Schaltkreisen. Mit „Sparse Autoencoders“ findet man Richtungen, die Konzepte wie „Golden-Gate-Brücke“ oder „Täuschung“ entsprechen.
• Probing: Kleine Klassifikatoren auf inneren Vektoren zeigen, welche Informationen dort liegen.
• Nutzen: Fehlersuche, Sicherheit (Täuschung entdecken), Vertrauen in sensiblen Bereichen (Medizin, Kredit).
• Grenzen: Erklärungen können plausibel, aber falsch sein. Auch die vom Modell erzählte Begründung ist nicht immer der echte Rechenweg.
• Einfache Modelle (lineare, Bäume) sind von sich aus gut erklärbar, siehe Entscheidungsbäume und Random Forest.

Siehe auch: Sicherheit, Ausrichtung und Jailbreaks, Grenzen von KI: Was Modelle nicht können