Wahrscheinlichkeit, Entropie und KL-Divergenz

Kurz: Sprachmodelle sind Wahrscheinlichkeitsmodelle. Entropie misst, wie unsicher eine Verteilung ist, die KL-Divergenz, wie stark zwei Verteilungen voneinander abweichen. Beides taucht in Verlust, Sampling und Feintuning auf.

Genauer: Eine Wahrscheinlichkeitsverteilung weist jeder Möglichkeit einen Wert zwischen 0 und 1 zu, die Summe ist 1.

Im Detail

• Bedingte Wahrscheinlichkeit: P(nächstes Token | bisheriger Text). Das ist genau das, was ein Sprachmodell berechnet. Die Wahrscheinlichkeit eines ganzen Satzes ist das Produkt dieser Faktoren (Kettenregel).
• Entropie: H = −Σ p·log p. Hoch bei gleichverteilter Unsicherheit, null bei Sicherheit. Sie ist die durchschnittliche „Überraschung“ in Bits.
• Kreuzentropie: Mittlere Überraschung, wenn man mit Verteilung q rät, während die Wahrheit p ist. Das ist der Trainingsverlust, siehe Verlustfunktionen: MSE und Kreuzentropie.
• KL-Divergenz: KL(p‖q) = Σ p·log(p/q). Immer ≥ 0, null nur bei gleichen Verteilungen. Bei RLHF verhindert sie, dass das Modell zu weit vom Ausgangsmodell abdriftet, siehe RLHF und Präferenzoptimierung.
• Perplexität: 2^Entropie, die effektive Zahl gleichwahrscheinlicher Alternativen.
• Bayes: P(A|B) = P(B|A)·P(A) / P(B). Grundlage von Naive-Bayes-Spamfiltern.
• Zufallsziehen: Aus einer Verteilung wird per Zufall ein Token gezogen, siehe temperatur-und-sampling.

Siehe auch: Softmax und Wahrscheinlichkeiten, Mathe-Grundlagen für KI: Vektoren, Matrizen, Tensoren