Моделі простору станів: Mamba та інші

Коротко: Моделі простору станів (SSM), як-от Mamba, читають послідовності з фіксованим поточним станом замість уваги до всіх попередніх токенів. Вартість зростає з довжиною лише лінійно.

Докладніше: Трансформери дорогі на довгих текстах, бо увага зростає квадратично, а разом із нею зростає KV-кеш. SSM зберігають стислий зміст фіксованого розміру.