NPU ve yapay zekâ hızlandırıcıları

Kısaca: NPU (neural processing unit), sinir ağı hesaplamalarını özellikle verimli çalıştıran bir çip bölümüdür. Telefonlarda ve yeni dizüstü işlemcilerinde bulunur.

Biraz daha ayrıntılı: NPU’lar düşük güç tüketimi için tasarlanmıştır ve performanslarını TOPS cinsinden verir (saniyede trilyon işlem, genellikle INT8). Küçük modeller, kamera efektleri ve arka plan görevleri için idealdirler. Büyük dil modellerinde darboğaz genellikle TOPS değeri değil, bellek bant genişliğidir.

Ayrıntılı

• Örnekler: Apple Neural Engine, Qualcomm Hexagon, Intel/AMD NPU’ları, Google TPU (veri merkezlerinde).
• Copilot+ PC’ler: en az 40 TOPS gerektirir.
• GPU ve NPU: GPU’lar daha esnek ve hızlıdır, NPU’lar daha tutumludur.
• Pazarlama sayıları: TOPS değerleri yalnızca aynı hassasiyette karşılaştırılabilir.

Ayrıca bak: Bellek bant genişliği, Sayı biçimleri: FP32, FP16, BF16 ve FP8