FlashAttention

Kısaca: FlashAttention, dikkat (attention) hesabını bellek tasarruflu yapan bir yöntemdir; uzun bağlamları daha hızlı ve daha az bellekle mümkün kılar.

Biraz daha ayrıntılı: Büyük dikkat matrisini tamamen belleğe yazmak yerine FlashAttention, çip üzerindeki hızlı önbellekte küçük bloklar halinde hesaplar. Sonuç matematiksel olarak aynıdır, ancak bellek erişimi büyük ölçüde azalır.

Ayrıntılı

• Etki: uzun bağlamda daha az VRAM, daha hızlı prefill.
• Kullanım: llama.cpp, PyTorch, vLLM ve diğerlerinde seçenek veya varsayılan olarak.
• Gereksinim: daha yeni kartlar ve uygun yazılım sürümleri.

Ayrıca bak: Transformer mimarisi, Prefill ve decode