Konstitutionelle KI und Regelwerke für Modelle

Kurz: Bei der Konstitutionellen KI gibt man dem Modell einen schriftlichen Satz von Grundsätzen. Das Modell prüft und verbessert damit seine eigenen Antworten, statt dass Menschen jede einzelne bewerten.

Der Ablauf

1. Entwurf: Das Modell antwortet auf eine heikle Frage.
2. Kritik: Es bekommt einen Grundsatz („Antworte hilfreich, aber ohne bei Gefährlichem zu helfen“) und soll seine Antwort dagegen prüfen.
3. Überarbeitung: Es schreibt eine bessere Antwort.
4. Aus den Paaren (schlecht, besser) entsteht ein Datensatz zum Feintuning.
5. In einer zweiten Phase bewertet das Modell selbst, welche von zwei Antworten den Grundsätzen besser entspricht. Diese KI-Präferenzen ersetzen teilweise menschliche Bewertungen, siehe RLHF und Präferenzoptimierung. Das nennt man RLAIF.

Vorteile und Grenzen

• Regeln sind lesbar und änderbar, statt versteckt in Tausenden Einzelbewertungen.
• Weniger menschliche Arbeit bei heiklen Inhalten.
• Das Ergebnis ist nur so gut wie die Grundsätze und das bewertende Modell. Lücken und Widersprüche bleiben, siehe Sicherheit, Ausrichtung und Jailbreaks.

Siehe auch: Instruktions-Tuning und Chat-Format