Кілька GPU і тензорний паралелізм

Коротко: З кількома відеокартами модель, що не вміщується на одній, можна розділити.

Докладніше: При розділенні за шарами (layer/pipeline) кожна карта тримає частину шарів, і карти працюють одна за одною. Пам’ять сумується, але швидкість приблизно як в однієї карти. При тензорному паралелізмі всі карти одночасно рахують кожен шар і постійно обмінюються проміжними результатами. Це швидше, але потребує швидкого зв’язку (NVLink або PCIe).

Наш контекст: У калькуляторі швидкості ШІ можна вибрати кілька карт. Калькулятор враховує режим розділення та міжз’єднання.

Подробиці

• Пропускна здатність PCIe: на споживчих платах часто x8 або x4 на карту. Це сповільнює тензорний паралелізм.
• NVLink: швидкий прямий зв’язок на картах для робочих станцій і дата-центрів, у GeForce його вже немає.
• Однакові карти: змішувати різні карти можна; швидкість визначає найповільніша.
• Живлення та охолодження: кільком картам потрібні блок живлення та корпус із достатнім місцем.

Див. також: VRAM і розмір моделі, Пропускна здатність пам’яті