Zustandsraum-Modelle: Mamba und Co.

Kurz: Zustandsraum-Modelle (SSM) wie Mamba lesen Sequenzen mit einem festen, mitlaufenden Zustand statt mit Attention über alle früheren Tokens. Der Aufwand wächst nur linear mit der Länge.

Genauer: Transformer sind bei langen Texten teuer, weil Attention quadratisch wächst und der KV-Cache mitwächst. SSMs behalten eine Zusammenfassung fester Größe.

Im Detail

• Idee: hₜ = A·hₜ₋₁ + B·xₜ, yₜ = C·hₜ. Wie ein RNN, aber so gebaut, dass man das Training parallel rechnen kann (Faltung oder Scan).
• S4: Frühes Modell für sehr lange Folgen.
• Mamba (2023): Macht A, B, C abhängig von der Eingabe („selektiv“), sodass das Modell entscheidet, was es sich merkt. Hardware-nah umgesetzt.
• Mamba-2, RWKV, RetNet, lineare Attention: Verwandte Ansätze mit linearem Aufwand.
• Stärken: Konstanter Speicher beim Erzeugen, schnell bei sehr langen Texten, Audio, Genom-Daten.
• Schwächen: Genaues Wiedergeben von Einzelheiten aus dem Kontext (Kopieren, Nachschlagen) fällt schwerer als bei Attention.
• Hybride: Modelle mischen SSM-Schichten mit wenigen Attention-Schichten (Jamba, Nemotron-H), das verbindet Tempo und Genauigkeit.
• Vergleich: kv-cache wächst bei Transformern mit der Länge, beim SSM nicht.

Siehe auch: Rekurrente Netze und LSTM, kontextfenster