Вивантаження моделей у пам’ять (offloading)

Коротко: Якщо модель не вміщується у відеопам’ять (VRAM), частину її можна вивантажити в оперативну пам’ять (RAM). Це працює, але повільніше.

Докладніше: Є два методи: при розділенні за шарами перші шари лишаються на відеокарті, а решта виконується на процесорі. При tensor offload обчислювально важкі частини лишаються на карті, а великі, рідко використовувані ваги експертів — у RAM. Останнє дуже ефективне з MoE-моделями.

Наш контекст: Калькулятор швидкості ШІ розраховує обидва методи та показує, скільки вивантажується і яка виходить швидкість.

Подробиці

• Чому повільніше: загальний час складається з частини у VRAM і частини в RAM. Частина в RAM при 50–100 ГБ/с швидко починає домінувати.
• PCIe: при вивантаженні важливий зв’язок між картою та RAM.
• На практиці: вивантаження кількох шарів коштує небагато. Вивантаження половини сильно знижує швидкість.
• Альтернатива: менша модель або сильніше квантування.

Див. також: VRAM і розмір моделі, Пропускна здатність пам’яті