Несколько GPU и тензорный параллелизм

Коротко: С несколькими видеокартами модель, которая не помещается на одной, можно разделить.

Подробнее: При разделении по слоям (layer/pipeline) каждая карта держит часть слоёв, и карты работают друг за другом. Память суммируется, но скорость примерно как у одной карты. При тензорном параллелизме все карты одновременно считают каждый слой и постоянно обмениваются промежуточными результатами. Это быстрее, но требует быстрой связи (NVLink или PCIe).

Наш контекст: В калькуляторе скорости ИИ можно выбрать несколько карт. Калькулятор учитывает режим разделения и межсоединение.

Подробности

• Пропускная способность PCIe: на потребительских платах часто x8 или x4 на карту. Это замедляет тензорный параллелизм.
• NVLink: быстрая прямая связь на картах для рабочих станций и дата-центров, в GeForce её больше нет.
• Одинаковые карты: смешивать разные карты можно; скорость определяет самая медленная.
• Питание и охлаждение: нескольким картам нужны блок питания и корпус с достаточным местом.

См. также: VRAM и размер модели, Пропускная способность памяти