VRAM і розмір моделі

Коротко: VRAM — це пам’ять відеокарти. Мовна модель працює найшвидше, коли вміщується в неї повністю.

Докладніше: Потреба в пам’яті в гігабайтах приблизно така: параметри (у мільярдах) × біт на вагу ÷ 8, плюс 10–20 % на контекст і проміжні значення. Моделі на 70 млрд параметрів потрібно 140 ГБ у 16 біт і близько 40 ГБ у 4 біти.

Наш контекст: Калькулятор швидкості ШІ перевіряє, чи вміщуються модель і контекст у VRAM. Якщо ні, залишок вивантажується в повільнішу оперативну пам’ять (offloading).

Подробиці

Модель	16 біт	8 біт	4 біти
8 млрд	16 ГБ	8 ГБ	4,5 ГБ
32 млрд	64 ГБ	32 ГБ	18 ГБ
70 млрд	140 ГБ	70 ГБ	40 ГБ

• KV-кеш: росте з довжиною контексту й додається до моделі (KV-кеш).
• Кілька карт: пам’ять сумується; швидкість залежить від розділення (кілька GPU і тензорний паралелізм).
• Правило для покупців: 24 ГБ VRAM дозволяють запускати моделі приблизно до 30 млрд параметрів у 4 біти, 48 ГБ — приблизно до 70 млрд.

Див. також: Квантування, Пропускна здатність пам’яті