Durum uzayı modelleri: Mamba ve diğerleri

Kısaca: Mamba gibi durum uzayı modelleri (SSM), önceki tüm belirteçler üzerinde dikkat yerine sabit, akan bir durumla dizileri okur. Maliyet uzunlukla yalnızca doğrusal artar.

Biraz daha ayrıntılı: Dönüştürücüler uzun metinlerde pahalıdır, çünkü dikkat ikinci dereceden büyür ve KV önbelleği onunla birlikte artar. SSM’ler sabit boyutlu bir özet tutar.