Gradyan inişi ve verilerden öğrenme

Kısaca: Makine öğrenmesinde bir model, bir hata ölçüsü (kayıp) küçülsün diye parametrelerini adım adım ayarlar. Gradyan inişi en dik iniş yönünü izler.

Biraz daha ayrıntılı: Bir model tahmin yapar, kayıp doğru değerlerden sapmayı ölçer. Gradyan, her parametredeki küçük değişikliklerle kaybın nasıl değiştiğini gösterir. Parametreleri gradyanın tersine küçük bir adım (öğrenme oranı) kaydırırsınız. Bunu binlerce kez yinelersiniz.