Токени за секунду

Коротко: Токени за секунду (tok/s) вимірюють, наскільки швидко мовна модель генерує текст. Що вище, то плавнішою здається відповідь.

Докладніше: Щоб згенерувати кожен окремий токен, обладнанню потрібно один раз прочитати з пам’яті майже всі активні ваги моделі. Тому швидкість зазвичай обмежена пропускною здатністю пам’яті, а не обчисленнями. Емпіричне правило: tok/s ≈ пропускна здатність × ефективність ÷ розмір моделі в байтах.

Наш контекст: Калькулятор швидкості ШІ розраховує це для тисяч компонентів і моделей з урахуванням квантування, суміші експертів, вивантаження в RAM та довжини контексту.

Подробиці

• Приклад: модель на 8 млрд параметрів у 4 біти — близько 4,5 ГБ. Відеокарта з 1 000 ГБ/с та ефективністю 60 % видає приблизно 600 ÷ 4,5 ≈ 130 tok/s.
• Швидкість читання: людина читає приблизно 4–8 токенів за секунду. Усе, що вище, — «швидше за читання».
• Prefill — інакше: обробка промпта потребує багато обчислень і на токен набагато швидша (prefill і decode).
• Чинники: квантування, розмір моделі, контекст (KV-кеш), програмне забезпечення, розмір пакета.

Див. також: Пропускна здатність пам’яті, Квантування, Prefill і decode