Prefill ve decode

Kısaca: Bir dil modeli iki aşamada çalışır: prefill tüm istemi bir seferde işler, decode cevabı belirteç belirteç üretir.

Biraz daha ayrıntılı: Prefill işlem yoğundur ve iyi paralelleşir; bu yüzden belirteç başına çok daha hızlıdır (saniyede yüzlerce ila binlerce belirteç). Decode bellek bant genişliğiyle sınırlıdır ve modelin içinden tek bir okuma döngüsü kadar hızlı çalışır.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı her iki değeri de gösterir: istemin ne kadar hızlı işlendiğini ve cevabın ne kadar hızlı göründüğünü.

Ayrıntılı

• İlk belirtece kadar süre: İlk kelimeye kadar bekleme, prefill süresine eşittir. Uzun belgeler bunu uzatır.
• İşlem gücü ve bant genişliği: Prefill TFLOPS, decode GB/s ister.
• Gruplama (batching): Aynı anda birkaç istek, bant genişliğini daha iyi kullanır, çünkü ağırlıklar yalnızca bir kez okunur.
• Bağlam: Bağlam ne kadar uzunsa belirteç başına o kadar çok KV önbelleği okunmalıdır.

Ayrıca bak: Saniyedeki belirteç, KV önbelleği