Рекуррентные сети и LSTM

Коротко: Рекуррентные сети (RNN) читают последовательности шаг за шагом и несут «состояние» как память. LSTM и GRU улучшают это вентилями. Для текста и речи их в основном заменили трансформеры.

Подробнее: RNN обрабатывает слово за словом и обновляет скрытое состояние h. Проблема: состояние должно сжимать всё прошлое, а градиенты на больших расстояниях затухают.