Спекулятивное декодирование

Подходит для: предсказуемого текста (код, стандартные ответы).
Хуже подходит: творческое и случайное.
Вариант: Medusa и EAGLE используют дополнительные «головы» вместо маленькой модели.
Память: маленькой модели нужно дополнительное место.

Коротко: Маленькая быстрая модель угадывает несколько токенов вперёд, а большая модель проверяет их все сразу. Если догадка верна, за один шаг получается несколько токенов.

Подробнее: Поскольку проверка нескольких токенов занимает почти столько же времени, сколько генерация одного (веса всё равно читаются один раз), скорость растёт в 1,5–3 раза, когда маленькая модель часто права. Результат идентичен результату большой модели.