Eniyileyiciler: SGD, momentum ve Adam

Kısaca: Eniyileyici, ağırlıkların gradyan kullanılarak nasıl ayarlanacağına karar verir. SGD basit adımlar atar, Adam adım boyutunu ağırlık başına uyarlar ve bugün sinir ağları için standarttır.

Biraz daha ayrıntılı: Gradyan, kaybın hangi yönde arttığını gösterir. Eniyileyici ters yönde gider, öğrenme oranı adım boyutunu belirler.