Рекурентні мережі та LSTM

Коротко: Рекурентні мережі (RNN) читають послідовності крок за кроком і несуть «стан» як пам’ять. LSTM і GRU покращують це вентилями. Для тексту й мовлення їх здебільшого замінили трансформери.

Докладніше: RNN обробляє слово за словом і оновлює прихований стан h. Проблема: стан має стискати все минуле, а градієнти на великих відстанях згасають.