Квантование

Коротко: Квантование хранит веса модели с меньшим числом бит (например, 4 вместо 16). Это экономит память и ускоряет модель, но стоит некоторой потери качества.

Подробнее: Вес в 16-битном формате с плавающей точкой занимает 2 байта, в 8-битном — 1 байт, в 4-битном — полбайта. Поскольку скорость зависит от пропускной способности памяти, 4-битная модель примерно в четыре раза быстрее той же модели в 16 бит.

Наш контекст: В калькуляторе скорости ИИ можно выбрать квантование или позволить определить его автоматически.

Подробности

• Распространённые уровни: Q8_0 (почти без потерь), Q6_K, Q5_K_M, Q4_K_M (хороший компромисс), Q3, Q2 (заметные потери).
• Бит на вес: Q4_K_M фактически составляет около 4,8 бита, потому что хранятся и масштабные значения.
• Потеря качества: у больших моделей часто небольшая, у малых заметнее. Ниже 3 бит качество сильно страдает.
• Форматы: GGUF (llama.cpp), GPTQ, AWQ, EXL2, bitsandbytes, FP8.
• Обучение и запуск: квантование обычно выполняют после обучения, для эксплуатации.

См. также: VRAM и размер модели, GGUF и llama.cpp, Форматы чисел: FP32, FP16, BF16 и FP8