FlashAttention

Коротко: FlashAttention — это метод, который выполняет вычисление внимания (attention) с экономией памяти, делая длинные контексты быстрее и возможными при меньшем объёме памяти.

Подробнее: Вместо того чтобы полностью записывать большую матрицу внимания в память, FlashAttention считает небольшими блоками в быстром кэше на кристалле. Результат математически тот же, но обращений к памяти становится намного меньше.

Подробности

• Эффект: меньше VRAM при длинном контексте, быстрее prefill.
• Применение: в llama.cpp, PyTorch, vLLM и других — как опция или по умолчанию.
• Требование: более новые карты и подходящие версии программ.

См. также: Архитектура Transformer, Prefill и decode