Sinir ağları ve geri yayılım

Kısaca: Bir sinir ağı, ağırlıklı toplamlar oluşturup doğrusal olmayan bir işlevden geçiren basit hesaplama birimlerinden (nöronlar) oluşan katmanlardan meydana gelir. Geri yayılım, her ağırlığın hatayı nasıl etkilediğini verimli hesaplar.

Biraz daha ayrıntılı: Bir katman y = f(W·x + b) hesaplar. Art arda birkaç katman karmaşık ilişkileri öğrenebilir. Eğitimde hesap ileri doğru çalışır (tahmin, kayıp), sonra gradyanları elde etmek için hata zincir kuralıyla tüm katmanlardan geriye yayılır.

Ayrıntılı

• Etkinleştirme işlevleri: ReLU, GELU, sigmoid…

Ayrıca bak: Gradyan inişi ve verilerden öğrenme, Dönüştürücü (transformer) mimarisi