Prefill і decode

Коротко: Мовна модель працює у дві фази: prefill обробляє весь промпт одразу, decode генерує відповідь токен за токеном.

Докладніше: Prefill потребує багато обчислень і добре розпаралелюється, тому на токен він набагато швидший (сотні–тисячі токенів за секунду). Decode обмежений пропускною здатністю пам’яті й іде лише так швидко, як один цикл читання всієї моделі.

Наш контекст: Калькулятор швидкості ШІ показує обидва значення: як швидко обробляється промпт і як швидко з’являється відповідь.

Подробиці

• Час до першого токена: очікування першого слова дорівнює часу prefill. Довгі документи його збільшують.
• Обчислення та пропускна здатність: prefill потребує TFLOPS, decode — ГБ/с.
• Пакетна обробка (batching): кілька запитів одночасно краще використовують пропускну здатність, бо ваги читаються лише раз.
• Контекст: що довший контекст, то більше KV-кешу доводиться читати на токен.

Див. також: Токени за секунду, KV-кеш