VRAM и размер модели

Коротко: VRAM — это память видеокарты. Языковая модель работает быстрее всего, когда помещается в неё целиком.

Подробнее: Потребность в памяти в гигабайтах примерно такова: параметры (в миллиардах) × бит на вес ÷ 8, плюс 10–20 % на контекст и промежуточные значения. Модели на 70 млрд параметров нужно 140 ГБ в 16 бит и около 40 ГБ в 4 бита.

Наш контекст: Калькулятор скорости ИИ проверяет, помещаются ли модель и контекст в VRAM. Если нет, остаток выгружается в более медленную оперативную память (offloading).

Подробности

Модель	16 бит	8 бит	4 бита
8 млрд	16 ГБ	8 ГБ	4,5 ГБ
32 млрд	64 ГБ	32 ГБ	18 ГБ
70 млрд	140 ГБ	70 ГБ	40 ГБ

• KV-кэш: растёт с длиной контекста и добавляется к модели (KV-кэш).
• Несколько карт: память суммируется; скорость зависит от разделения (несколько GPU и тензорный параллелизм).
• Правило для покупателей: 24 ГБ VRAM позволяют запускать модели примерно до 30 млрд параметров в 4 бита, 48 ГБ — примерно до 70 млрд.

См. также: Квантование, Пропускная способность памяти