Prefill и decode

Коротко: Языковая модель работает в две фазы: prefill обрабатывает весь промпт сразу, decode генерирует ответ токен за токеном.

Подробнее: Prefill требует много вычислений и хорошо распараллеливается, поэтому на токен он намного быстрее (сотни–тысячи токенов в секунду). Decode ограничен пропускной способностью памяти и идёт лишь так быстро, как один цикл чтения всей модели.

Наш контекст: Калькулятор скорости ИИ показывает оба значения: как быстро обрабатывается промпт и как быстро появляется ответ.

Подробности

• Время до первого токена: ожидание первого слова равно времени prefill. Длинные документы его увеличивают.
• Вычисления и пропускная способность: prefill требует TFLOPS, decode — ГБ/с.
• Пакетная обработка (batching): несколько запросов одновременно лучше используют пропускную способность, потому что веса читаются только один раз.
• Контекст: чем длиннее контекст, тем больше KV-кэша приходится читать на токен.

См. также: Токены в секунду, KV-кэш