Вероятность, энтропия и дивергенция КЛ

Коротко: Языковые модели — вероятностные модели. Энтропия измеряет, насколько неопределённо распределение, дивергенция КЛ — насколько сильно различаются два распределения. Оба понятия встречаются в потерях, сэмплировании и выравнивании.

Подробнее: Распределение вероятностей присваивает каждой возможности значение от 0 до 1, сумма равна 1.