Reasoning-Modelle und Chain of Thought

Kurz: Reasoning-Modelle schreiben vor der Antwort eine längere Gedankenkette, in der sie Zwischenschritte durchrechnen. Das verbessert Ergebnisse bei Mathe, Code und Logik deutlich, kostet aber mehr Tokens und Zeit.

Genauer: Schon 2022 zeigte „Chain of Thought“, dass Schritt-für-Schritt-Denken die Genauigkeit erhöht. Heute wird es per Verstärkungslernen trainiert: Das Modell bekommt Aufgaben mit prüfbarem Ergebnis (Matheaufgaben, Tests für Code) und wird für richtige Endergebnisse belohnt.

Im Detail

• Warum es hilft: Jedes erzeugte Token ist zusätzliche Rechenzeit. Wer mehr Zwischenschritte schreibt, kann schwierigere Probleme lösen als in einer einzigen Vorwärtsrechnung.
• Test-Time Compute: Rechenaufwand zur Nutzungszeit statt nur beim Training. „Nachdenken-Budget“ lässt sich einstellen.
• Training: Belohnung für richtige Antworten (RLVR, Verifiable Rewards). Das Modell entdeckt von selbst Strategien wie Gegenprüfen, Rückschritt und Neu-Ansetzen.
• Verfahren zur Nutzung: Selbstkonsistenz (mehrere Lösungen, Mehrheit), Baumsuche, Prüfmodelle.
• Sichtbarkeit: Manche Anbieter zeigen die Gedanken, andere nur eine Zusammenfassung.
• Vorsicht: Die gezeigte Begründung ist nicht immer der wahre Rechenweg des Modells.
• Kosten: Viele Reasoning-Tokens erhöhen Preis und Wartezeit. Einfache Fragen brauchen es nicht.

Siehe auch: Verstärkungslernen (Reinforcement Learning), Skalierungsgesetze