FlashAttention

Коротко: FlashAttention — це метод, що виконує обчислення уваги (attention) з економією пам’яті, роблячи довгі контексти швидшими й можливими за меншого обсягу пам’яті.

Докладніше: Замість того щоб повністю записувати велику матрицю уваги в пам’ять, FlashAttention рахує невеликими блоками в швидкому кеші на кристалі. Результат математично той самий, але звернень до пам’яті стає значно менше.

Подробиці

• Ефект: менше VRAM за довгого контексту, швидший prefill.
• Застосування: у llama.cpp, PyTorch, vLLM та інших — як опція або за замовчуванням.
• Вимога: новіші карти та відповідні версії програм.

Див. також: Архітектура Transformer, Prefill і decode