Büyük ölçekte eğitim: GPU’lar, paralellik ve bellek

Kısaca: Büyük modeller tek bir GPU’ya sığmaz. Birkaç paralellik türü, hızlı bağlantılar ve karma duyarlılıkla binlerce GPU’ya yayılırlar.

Biraz daha ayrıntılı: Eğitimde her ağırlık, değerinin yanında bir gradyana ve eniyileyici durumlarına ihtiyaç duyar. Karma duyarlılıkta Adam ile bu parametre başına yaklaşık 16 bayttır.