Sıcaklık ve örnekleme (temperature, sampling)

Kısaca: Sıcaklık, bir dil modelinin sonraki belirteci ne kadar rastgele seçeceğini belirler. Düşük değer öngörülebilir, yüksek değer daha yaratıcı ve daha risklidir.

Biraz daha ayrıntılı: Model, olası her belirteç için bir olasılık hesaplar. Sıcaklık 0’da her zaman en olası seçilir. Daha yüksek değerler dağılımı düzleştirir. Top-p ve top-k, seçimi en olası adaylarla sınırlar.

Ayrıntılı

• Olgusal görevler, kod: düşük (0 ila 0,3).
• Yaratıcı yazı: orta ila yüksek (0,7 ila 1,0).
• Top-p (nucleus): Yalnızca olasılıkları toplamda p’ye ulaşan belirteçler sayılır.
• Tekrar cezası (repetition penalty): döngüleri önler.
• Seed: Aynı seed ve sıcaklık 0 genellikle yeniden üretilebilir sonuçlar verir.

Ayrıca bak: Halüsinasyon (yapay zekâ), Prompt mühendisliği