Verstärkungslernen (Reinforcement Learning)

Kurz: Beim Verstärkungslernen probiert ein Agent Aktionen in einer Umgebung aus, bekommt Belohnungen oder Strafen und lernt, die Summe der Belohnungen zu maximieren.

Genauer: Es gibt keine fertigen richtigen Antworten, nur Rückmeldungen nach dem Handeln. Der Agent muss zwischen Ausprobieren (Exploration) und Ausnutzen des Bekannten (Exploitation) abwägen.

Im Detail

• Begriffe: Zustand, Aktion, Belohnung, Politik (Strategie), Wertfunktion.
• Q-Learning: Lernt, wie gut jede Aktion in jedem Zustand ist (Q-Tabelle). Mit neuronalen Netzen: Deep Q-Network (DQN), spielte Atari.
• Policy Gradient: Die Strategie wird direkt als Netz gelernt und anhand der Belohnung verbessert (REINFORCE, PPO).
• PPO (Proximal Policy Optimization): Stabiles Verfahren mit begrenzter Änderung pro Schritt, oft bei RLHF genutzt.
• Erfolge: AlphaGo/AlphaZero (Brettspiele), Robotik, Datenzentrum-Kühlung, Kernfusionsregelung.
• Probleme: Viele Versuche nötig, Belohnung richtig formulieren (Reward Hacking: Agent findet Schlupflöcher).
• Sprachmodelle: Siehe RLHF und Präferenzoptimierung und Reasoning-Modelle und Chain of Thought.

Siehe auch: Lernarten: überwacht, unüberwacht, verstärkend, RLHF und Präferenzoptimierung