Yinelemeli ağlar ve LSTM

Kısaca: Yinelemeli ağlar (RNN) dizileri adım adım okur ve bellek olarak bir “durum” taşır. LSTM ve GRU bunu kapılarla iyileştirir. Metin ve konuşmada büyük ölçüde dönüştürücülerle değiştirildiler.

Biraz daha ayrıntılı: Bir RNN sözcükleri art arda işler ve gizli bir durumu h günceller. Bir sorun: durum geçmişteki her şeyi sıkıştırmak zorundadır ve gradyanlar uzun mesafelerde kaybolur.