Модели пространства состояний: Mamba и другие

Коротко: Модели пространства состояний (SSM), такие как Mamba, читают последовательности с фиксированным текущим состоянием вместо внимания ко всем прежним токенам. Стоимость растёт с длиной лишь линейно.

Подробнее: Трансформеры дороги на длинных текстах, потому что внимание растёт квадратично, а вместе с ним растёт KV-кэш. SSM хранят краткое содержание фиксированного размера.