Çoklu GPU ve tensör paralelliği

Kısaca: Birden fazla ekran kartıyla, tek bir karta sığmayan bir model bölünebilir.

Biraz daha ayrıntılı: Katman bölmesinde (layer/pipeline) her kart katmanların bir kısmını tutar ve kartlar sırayla çalışır. Bellek toplanır, ancak hız yaklaşık tek kartınki kadardır. Tensör paralelliğinde tüm kartlar her katmanı aynı anda hesaplar ve sürekli ara sonuç alışverişi yapar. Bu daha hızlıdır ama hızlı bir bağlantı (NVLink veya PCIe) gerektirir.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısında birden fazla kart seçebilirsiniz. Hesaplayıcı bölme modunu ve ara bağlantıyı dikkate alır.

Ayrıntılı

• PCIe bant genişliği: Tüketici anakartlarında çoğunlukla kart başına x8 veya x4. Bu, tensör paralelliğini yavaşlatır.
• NVLink: iş istasyonu ve veri merkezi kartlarında hızlı doğrudan bağlantı; GeForce’ta artık yok.
• Aynı kartlar: Farklı kartları karıştırmak çalışır; hızı en yavaşı belirler.
• Güç ve soğutma: Birkaç kart, yeterli güç kaynağı ve yer olan bir kasa gerektirir.

Ayrıca bak: VRAM ve model boyutu, Bellek bant genişliği