VRAM ve model boyutu

Kısaca: VRAM, ekran kartının belleğidir. Bir dil modeli tamamen sığdığında en hızlı çalışır.

Biraz daha ayrıntılı: Gigabayt cinsinden bellek ihtiyacı kabaca şudur: parametreler (milyar olarak) × ağırlık başına bit ÷ 8, artı bağlam ve ara değerler için %10–20. 70 milyarlık bir model 16 bitte 140 GB, 4 bitte yaklaşık 40 GB gerektirir.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı model ve bağlamın VRAM’e sığıp sığmadığını denetler. Aksi halde geri kalan, daha yavaş ana belleğe aktarılır (offloading).

Ayrıntılı

Model	16 bit	8 bit	4 bit
8 milyar	16 GB	8 GB	4,5 GB
32 milyar	64 GB	32 GB	18 GB
70 milyar	140 GB	70 GB	40 GB

• KV önbelleği: bağlam uzunluğuyla büyür ve modele eklenir (KV önbelleği).
• Birkaç kart: Bellekler toplanır; hız bölmeye bağlıdır (çoklu GPU ve tensör paralelliği).
• Alıcılar için pratik kural: 24 GB VRAM, 4 bitte yaklaşık 30 milyar parametreye kadar modellere, 48 GB ise yaklaşık 70 milyara kadar olanlara izin verir.

Ayrıca bak: Nicemleme, Bellek bant genişliği