Оптимизаторы: SGD, момент и Adam

Коротко: Оптимизатор решает, как корректировать веса с помощью градиента. SGD делает простые шаги, Adam подстраивает размер шага под каждый вес и сегодня — стандарт для нейронных сетей.

Подробнее: Градиент показывает, в каком направлении растут потери. Оптимизатор идёт в противоположном направлении, скорость обучения задаёт размер шага.