Birleşik bellek (Apple Silicon)

Kısaca: Apple çiplerinde işlemci ve grafik birimi tek bir belleği paylaşır. Böylece GPU, toplam belleğin büyük bir kısmını kullanabilir.

Biraz daha ayrıntılı: 128 GB belleği olan bir Mac, tek kartlarda düşünülemeyecek modelleri yükleyebilir. Bant genişliği çipe göre 100 ile 800 GB/s’nin üzeri arasındadır; yani normal PC belleğinden hızlı, ancak üst düzey ekran kartlarından yavaştır.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı birçok Apple çipini (M1’den M4’e, Pro, Max, Ultra) bant genişliği ve seçilebilir bellekle içerir.

Ayrıntılı

• Ne kadarı kullanılabilir: Varsayılan olarak belleğin yaklaşık üçte ikisi ila dörtte üçü GPU için, ayarlanabilir.
• Yazılım: MLX, Metal’li llama.cpp ve Ollama iyi çalışır.
• Sınırlar: İstem işleme (prefill), işlem gücü daha düşük olduğundan büyük NVIDIA kartlarından yavaştır.
• AMD’den alternatif: “Strix Halo” sistemleri de paylaşılan bellek kullanır.

Ayrıca bak: Bellek bant genişliği, VRAM ve model boyutu