Softmax и вероятности

Коротко: Softmax превращает список произвольных чисел (логитов) в вероятности, все положительные и в сумме равные 1. Это последняя ступень почти любого классификатора и языковой модели.

Подробнее: Формула: softmax(zᵢ) = e^zᵢ / Σ e^zⱼ. Большие входы получают заметно большие доли, потому что экспонента усиливает различия.