Выгрузка моделей в память (offloading)

Коротко: Если модель не помещается в видеопамять (VRAM), часть её можно выгрузить в оперативную память (RAM). Это работает, но медленнее.

Подробнее: Есть два метода: при разделении по слоям первые слои остаются на видеокарте, а остальные выполняются на процессоре. При tensor offload вычислительно тяжёлые части остаются на карте, а большие, редко используемые веса экспертов — в RAM. Последнее очень эффективно с MoE-моделями.

Наш контекст: Калькулятор скорости ИИ рассчитывает оба метода и показывает, сколько выгружается и какая получается скорость.

Подробности

• Почему медленнее: общее время складывается из части в VRAM и части в RAM. Часть в RAM при 50–100 ГБ/с быстро начинает доминировать.
• PCIe: при выгрузке важна связь между картой и RAM.
• На практике: выгрузка нескольких слоёв стоит немного. Выгрузка половины сильно снижает скорость.
• Альтернатива: модель поменьше или более сильное квантование.

См. также: VRAM и размер модели, Пропускная способность памяти