Saniyedeki token (tokens per second)

Kısaca: Saniyedeki token (tok/s), bir dil modelinin ne kadar hızlı metin ürettiğini ölçer. Ne kadar yüksekse cevap o kadar akıcı hissedilir.

Biraz daha ayrıntılı: Her bir token’ı üretmek için donanımın, modelin neredeyse tüm etkin ağırlıklarını bellekten bir kez okuması gerekir. Bu yüzden hız genellikle işlem gücüyle değil, bellek bant genişliğiyle sınırlıdır. Pratik kural: tok/s ≈ bant genişliği × verimlilik ÷ bayt cinsinden model boyutu.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı bunu binlerce bileşen ve model için hesaplar; nicemlemeyi, uzmanların karışımını, RAM’e aktarmayı ve bağlam uzunluğunu hesaba katar.

Ayrıntılı

• Örnek: 4 bitlik 8 milyarlık bir model yaklaşık 4,5 GB’tır. 1.000 GB/s ve %60 verimli bir ekran kartı yaklaşık 600 ÷ 4,5 ≈ 130 tok/s sağlar.
• Okuma hızı: Bir insan saniyede yaklaşık 4–8 token okur. Bunun üstü “okumadan hızlıdır”.
• Prefill farklıdır: İstemi işlemek işlem yoğundur ve token başına çok daha hızlıdır (prefill ve decode).
• Etkenler: nicemleme, model boyutu, bağlam (KV önbelleği), yazılım, grup (batch) boyutu.

Ayrıca bak: Bellek bant genişliği, Nicemleme, Prefill ve decode