Спекулятивне декодування

Коротко: Мала швидка модель вгадує кілька токенів наперед, а велика модель перевіряє їх усі одразу. Якщо здогад правильний, за один крок виходить кілька токенів.

Докладніше: Оскільки перевірка кількох токенів займає майже стільки ж часу, скільки генерація одного (ваги все одно читаються раз), швидкість зростає в 1,5–3 рази, коли мала модель часто має рацію. Результат ідентичний результату великої моделі.

Подробиці

• Підходить для: передбачуваного тексту (код, стандартні відповіді).
• Гірше підходить: творче й випадкове.
• Варіант: Medusa та EAGLE використовують додаткові «голови» замість малої моделі.
• Пам’ять: малій моделі потрібне додаткове місце.

Див. також: Токени за секунду, Prefill і decode