Sayı biçimleri: FP32, FP16, BF16 ve FP8

Kısaca: Yapay zekâ, çeşitli hassasiyette kayan noktalı sayılarla hesaplar. Daha az bit bellek ve işlem süresi kazandırır ama yuvarlama hataları getirir.

Biraz daha ayrıntılı: FP32 (32 bit) klasik hassasiyettir. FP16 ve BF16 (16 bit), eğitim ve çıkarım için standarttır. BF16, FP32’nin değer aralığına daha düşük hassasiyetle sahiptir ve eğitimde daha kararlıdır. FP8 (8 bit), daha da fazla hız için yeni kartlarda (Hopper, Ada, Blackwell) kullanılır.

Ayrıntılı

• Yapı: işaret, üs (değer aralığı), mantis (hassasiyet). BF16: 8 bit üs, 7 bit mantis. FP16: 5 bit üs, 10 bit mantis.
• Tensör çekirdekleri: ekran kartının FP16, BF16, FP8 ve INT8 ile matris matematiği yapan özel birimleri.
• Tam sayı biçimleri: INT8 ve INT4 daha da küçüktür ve ağırlıklı olarak çıkarım içindir.
• TFLOPS: işlem gücü ölçüsü. Üretimde bant genişliğinden daha az önemlidir; uzun istemleri işlerken çok önemlidir.

Ayrıca bak: Nicemleme, Prefill ve decode