Temperatur und Sampling

Kurz: Die Temperatur steuert, wie zufällig ein Sprachmodell das nächste Token wählt. Niedrig ist vorhersehbar, hoch ist kreativer und riskanter.

Genauer: Das Modell berechnet für jedes mögliche Token eine Wahrscheinlichkeit. Bei Temperatur 0 wird immer das wahrscheinlichste gewählt. Höhere Werte flachen die Verteilung ab. Top-p und Top-k beschränken die Auswahl auf die wahrscheinlichsten Kandidaten.

Im Detail

• Faktenaufgaben, Code: niedrig (0 bis 0,3).
• Kreatives Schreiben: mittel bis hoch (0,7 bis 1,0).
• Top-p (Nucleus): Es zählen nur Tokens, deren Wahrscheinlichkeiten zusammen p ergeben.
• Wiederholungsstrafe: Verhindert Schleifen.
• Seed: Gleicher Startwert und Temperatur 0 ergeben meist reproduzierbare Ergebnisse.

Siehe auch: Halluzination (KI), Prompt Engineering