Оптимізатори: SGD, момент і Adam

Коротко: Оптимізатор вирішує, як коригувати ваги за допомогою градієнта. SGD робить прості кроки, Adam підлаштовує розмір кроку під кожну вагу і сьогодні — стандарт для нейронних мереж.

Докладніше: Градієнт показує, в якому напрямку зростають втрати. Оптимізатор іде в протилежному напрямку, швидкість навчання задає розмір кроку.