Bellek bant genişliği

Kısaca: Bellek bant genişliği, bellek ile işlemci arasında saniyede kaç gigabayt aktarılabildiğini gösterir.

Biraz daha ayrıntılı: Dil modellerinin hızı için belirleyici değerdir. Ekran kartlarında saniyede yüzlerce ila binlerce GB vardır (GDDR6X, HBM), normal PC belleğinde ise yalnızca yaklaşık 50–100 GB/s. Birleşik belleğe sahip Apple çipleri arada yer alır (100–800 GB/s).

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısında her ekran kartı, işlemci ve Apple çipi bant genişliğini gösterir. Saniyede kaç belirteç mümkün olduğunu bu belirler.

Ayrıntılı

• Hesaplama: bit cinsinden veri yolu genişliği ÷ 8 × bellek veri hızı. Pin başına 21 Gbit/s olan 384 bitlik bir kart 384 ÷ 8 × 21 = 1.008 GB/s’ye sahiptir.
• Çift kanal: İki RAM modülü, tek modüle göre bant genişliğini ikiye katlar. DDR5-6000 çift kanalda yaklaşık 96 GB/s sağlar.
• HBM: veri merkezi kartlarında üst üste dizilmiş bellek (saniyede terabaytlar).
• Kullanım oranı: Pratikte çoğunlukla azami değerin %60–85’ine ulaşılır.

Ayrıca bak: Saniyedeki belirteç, VRAM ve model boyutu, Birleşik bellek (Apple Silicon)