Softmax та ймовірності

Коротко: Softmax перетворює список довільних чисел (логітів) на ймовірності, усі додатні й у сумі рівні 1. Це останній ступінь майже будь-якого класифікатора та мовної моделі.

Докладніше: Формула: softmax(zᵢ) = e^zᵢ / Σ e^zⱼ. Великі входи отримують помітно більші частки, бо експонента посилює відмінності.