Rekurrente Netze und LSTM

Kurz: Rekurrente Netze (RNN) lesen Folgen Schritt für Schritt und tragen einen „Zustand“ als Gedächtnis weiter. LSTM und GRU verbessern das mit Gattern. Sie wurden für Text und Sprache weitgehend von Transformern abgelöst.

Genauer: Ein RNN verarbeitet ein Wort nach dem anderen und aktualisiert dabei einen versteckten Zustand h. Ein Problem: Der Zustand muss alles Vergangene komprimieren und Gradienten verschwinden über lange Strecken.

Im Detail

• RNN: hₜ = f(W·hₜ₋₁ + U·xₜ). Teilt die Gewichte über alle Zeitschritte.
• LSTM (Long Short-Term Memory, 1997): Eine Zellzustands-Linie mit Gattern (Vergessen, Eingabe, Ausgabe) entscheidet, was gemerkt wird.
• GRU: Vereinfachte Variante mit weniger Gattern.
• Nachteile: Sequenziell, schlecht parallelisierbar, vergisst bei langen Texten.
• Warum Transformer gewannen: Attention sieht alle Positionen direkt und lässt sich auf GPUs parallel berechnen, siehe Self-Attention im Detail.
• Comeback: Zustandsraum-Modelle (Mamba, S4) und RWKV bringen rekurrente Ideen mit linearem Aufwand zurück.
• Einsatz heute: Zeitreihen, kleine Geräte, Audio.

Siehe auch: Self-Attention im Detail, transformer-architektur