Olasılık, entropi ve KL ıraksaması

Kısaca: Dil modelleri olasılık modelleridir. Entropi bir dağılımın ne kadar belirsiz olduğunu, KL ıraksaması iki dağılımın ne kadar ayrıştığını ölçer. İkisi de kayıpta, örneklemede ve hizalamada görünür.

Biraz daha ayrıntılı: Bir olasılık dağılımı her olasılığa 0 ile 1 arasında bir değer verir, toplam 1’dir.

Ayrıntılı

• Koşullu olasılık: `P(sonraki belirteç | …

Ayrıca bak: Softmax ve olasılıklar, Yapay zekâ için matematik temelleri