Токены в секунду

Коротко: Токены в секунду (tok/s) измеряют, насколько быстро языковая модель генерирует текст. Чем выше, тем плавнее ощущается ответ.

Подробнее: Чтобы сгенерировать каждый отдельный токен, оборудованию нужно один раз прочитать из памяти почти все активные веса модели. Поэтому скорость обычно ограничена пропускной способностью памяти, а не вычислениями. Эмпирическое правило: tok/s ≈ пропускная способность × эффективность ÷ размер модели в байтах.

Наш контекст: Калькулятор скорости ИИ рассчитывает это для тысяч компонентов и моделей с учётом квантования, смеси экспертов, выгрузки в RAM и длины контекста.

Подробности

• Пример: модель на 8 млрд параметров в 4 бита — около 4,5 ГБ. Видеокарта с 1 000 ГБ/с и эффективностью 60 % выдаёт примерно 600 ÷ 4,5 ≈ 130 tok/s.
• Скорость чтения: человек читает примерно 4–8 токенов в секунду. Всё, что выше, — «быстрее чтения».
• Prefill — иначе: обработка промпта требует много вычислений и на токен намного быстрее (prefill и decode).
• Факторы: квантование, размер модели, контекст (KV-кэш), программное обеспечение, размер пакета.

См. также: Пропускная способность памяти, Квантование, Prefill и decode