Kod çözme: greedy, beam search, top-k ve top-p

Kısaca: Sonraki belirteç için olasılıklardan bir seçim yapılmalıdır. Bunun yöntemine kod çözme (decoding) denir: greedy, beam search veya top-k ve top-p ile rastgele seçim.

Biraz daha ayrıntılı: Seçim, yanıtların güvenli ve tekdüze mi yoksa çeşitli mi olacağını belirler.

Ayrıntılı

• Greedy: her zaman en olası belirteç. …

Ayrıca bak: Bir dil modeli metni adım adım nasıl üretir, Softmax ve olasılıklar