Імовірність, ентропія та дивергенція КЛ

Коротко: Мовні моделі — ймовірнісні моделі. Ентропія вимірює, наскільки невизначений розподіл, дивергенція КЛ — наскільки сильно різняться два розподіли. Обидва поняття трапляються у втратах, семплюванні та вирівнюванні.

Докладніше: Розподіл імовірностей присвоює кожній можливості значення від 0 до 1, сума дорівнює 1.