Spekülatif kod çözme (speculative decoding)

Uygun olan: tahmin edilebilir metin (kod, standart cevaplar).
Daha az uygun: yaratıcı ve rastgele içerik.
Varyant: Medusa ve EAGLE, küçük model yerine ek başlıklar kullanır.
Bellek: Küçük model ek yer gerektirir.

Kısaca: Küçük ve hızlı bir model birkaç belirteci önceden tahmin eder, büyük model hepsini bir seferde denetler. Tahmin doğruysa tek adımda birkaç belirteç oluşur.

Biraz daha ayrıntılı: Birkaç belirteci denetlemek tek bir belirteç üretmek kadar sürdüğü için (ağırlıklar zaten bir kez okunur), küçük model çoğunlukla doğru bildiğinde hız 1,5 ila 3 kat artar. Sonuç, büyük modelinkiyle aynıdır.