Modelleri belleğe aktarma (offloading)

Kısaca: Bir model VRAM’e sığmıyorsa, bir kısmı ana belleğe (RAM) aktarılabilir. Çalışır ama daha yavaştır.

Biraz daha ayrıntılı: İki yöntem vardır: katman bölmesinde ilk katmanlar ekran kartında kalır, geri kalanı işlemcide çalışır. Tensor offload’da işlem yoğun kısımlar kartta, büyük ve nadiren kullanılan uzman ağırlıkları RAM’de kalır. İkincisi MoE modelleriyle çok etkilidir.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı iki yöntemi de hesaplar ve ne kadarının aktarıldığını ve ortaya çıkan hızı gösterir.

Ayrıntılı

• Neden daha yavaş: Toplam süre, VRAM kısmı ile RAM kısmından oluşur. 50–100 GB/s’lik RAM kısmı hızla baskın hale gelir.
• PCIe: Offload’da kart ile RAM arasındaki bağlantı önemlidir.
• Pratikte: Birkaç katmanı aktarmak az maliyetlidir. Yarısını aktarmak çok hız kaybettirir.
• Alternatif: daha küçük model veya daha güçlü nicemleme.

Ayrıca bak: VRAM ve model boyutu, Bellek bant genişliği