Sparse Autoencoder: Merkmale im Netz sichtbar machen

Kurz: Ein Sparse Autoencoder (SAE) zerlegt die inneren Aktivierungen eines Sprachmodells in viele einzelne, verständlichere Merkmale. So lässt sich sehen, welche Konzepte das Modell gerade „denkt“.

Das Problem

Ein einzelnes Neuron im Netz steht selten für genau ein Konzept. Es reagiert auf ein Gemisch (Polysemantik), weil das Netz viel mehr Konzepte speichert als es Neuronen hat und sie überlagert (Superposition). Das macht Interpretierbarkeit: Was passiert im Netz? schwer.

Die Lösung

Ein SAE ist ein kleines Netz neben dem Modell:

1. Es nimmt die Aktivierung einer Schicht (ein Vektor).
2. Es bildet sie auf einen viel größeren Vektor ab (zum Beispiel das 16-Fache), bei dem fast alle Einträge null sind („sparse“).
3. Es rekonstruiert daraus die ursprüngliche Aktivierung.

Beim Training bestraft man jede nicht-null-Stelle zusätzlich zum Rekonstruktionsfehler (siehe Autoencoder und VAE). Übrig bleiben wenige aktive Merkmale pro Eingabe, und viele davon haben eine klare Bedeutung, etwa „Golden-Gate-Brücke“, „Code-Fehler“ oder „Täuschung“.

Was man damit macht

• Merkmale ansehen und benennen.
• Ein Merkmal künstlich verstärken oder abschwächen, um das Verhalten zu steuern.
• Nach Merkmalen für unerwünschtes Verhalten suchen.

Grenzen: Nicht jedes Merkmal ist deutbar, die Rekonstruktion ist nicht perfekt, und die Methode ist teuer. Es ist ein aktives Forschungsfeld.

Siehe auch: Sicherheit, Ausrichtung und Jailbreaks