RLHF und Präferenzoptimierung

Kurz: RLHF (Reinforcement Learning from Human Feedback) richtet ein Sprachmodell an menschlichen Vorlieben aus: Menschen vergleichen Antworten, daraus entsteht ein Belohnungsmodell, an dem das Modell per Verstärkungslernen verbessert wird.

Genauer: Der Grund: Für „gute Antwort“ gibt es keine einfache Formel. Menschen können aber leicht sagen, welche von zwei Antworten besser ist.

Im Detail

1. Antworten sammeln: Das Modell erzeugt mehrere Antworten pro Frage.
2. Vergleich: Menschen (oder ein KI-Bewerter) ordnen sie.
3. Belohnungsmodell: Ein Netz lernt, diese Rangfolge vorherzusagen.
4. Optimierung: Das Sprachmodell wird mit PPO so verändert, dass die Belohnung steigt, mit Strafterm (KL), damit es nicht zu weit vom Ausgangsmodell abdriftet.
5. DPO (Direct Preference Optimization): Spart das Belohnungsmodell, optimiert direkt auf Paaren „bessere/schlechtere Antwort“. Einfacher und stabil.

• RLAIF und Constitutional AI: Ein Modell bewertet Antworten anhand schriftlicher Grundsätze (einer „Verfassung“), das ersetzt einen Teil menschlicher Beschriftung.
• Nebenwirkungen: Schmeichelei (Sycophancy), zu lange Antworten, Ausweichen. Das Modell optimiert, was Bewertern gefällt.
• Reward Hacking: Das Modell findet Schlupflöcher im Belohnungsmodell.
• Ziel: Hilfreich, ehrlich, harmlos, siehe Sicherheit, Ausrichtung und Jailbreaks.

Siehe auch: Verstärkungslernen (Reinforcement Learning), Instruktions-Tuning und Chat-Format