Dekodierung: Greedy, Beam Search, Top-k und Top-p

Kurz: Aus den Wahrscheinlichkeiten für das nächste Token muss eine Auswahl getroffen werden. Das Verfahren dafür heißt Dekodierung: Greedy, Beam Search oder Zufallsauswahl mit Top-k und Top-p.

Genauer: Die Wahl bestimmt, ob Antworten sicher und gleichförmig oder abwechslungsreich ausfallen.

Im Detail

• Greedy: Immer das wahrscheinlichste Token. Deterministisch, neigt zu Wiederholungen.
• Beam Search: Verfolgt die b besten Teilsätze parallel und wählt am Ende den besten Gesamtpfad. Gut für Übersetzung, bei Chat meist flach und generisch.
• Zufallsziehen: Token nach Wahrscheinlichkeit auswählen.
• Temperatur: Macht die Verteilung spitzer (<1) oder flacher (>1), siehe temperatur-und-sampling.
• Top-k: Nur aus den k wahrscheinlichsten Tokens ziehen.
• Top-p (Nucleus): Aus der kleinsten Menge ziehen, deren Wahrscheinlichkeiten zusammen p (z. B. 0,9) ergeben.
• Min-p: Verwirft Tokens unter einem Bruchteil der Spitzenwahrscheinlichkeit.
• Wiederholungsstrafe: Senkt bereits benutzte Tokens.
• Strukturierte Ausgabe: Grammatik-Beschränkung lässt nur gültiges JSON zu.
• Praxis: Fakten und Code: niedrige Temperatur. Ideen und Geschichten: höher.

Siehe auch: Wie ein Sprachmodell Text erzeugt: Schritt für Schritt, Softmax und Wahrscheinlichkeiten