Multi-GPU und Tensor-Parallelismus

Kurz: Mit mehreren Grafikkarten lässt sich ein Modell aufteilen, das auf eine einzelne nicht passt.

Genauer: Beim Schichten-Split (Layer/Pipeline) liegt jede Karte auf einem Teil der Schichten, die Karten arbeiten nacheinander. Der Speicher addiert sich, das Tempo entspricht aber etwa einer Karte. Beim Tensor-Parallelismus rechnen alle Karten gleichzeitig an jeder Schicht und tauschen laufend Zwischenergebnisse aus. Das ist schneller, braucht aber eine schnelle Verbindung (NVLink oder PCIe).

Kontext bei uns: Im KI-Tempo-Rechner kann man mehrere Karten wählen. Der Rechner berücksichtigt den Aufteilungsmodus und die Verbindung.

Im Detail

• PCIe-Bandbreite: Auf Consumer-Boards oft x8 oder x4 je Karte. Das bremst Tensor-Parallelismus.
• NVLink: Schnelle Direktverbindung bei Workstation- und Rechenzentrumskarten, bei GeForce nicht mehr.
• Gleiche Karten: Mischen verschiedener Karten funktioniert, die langsamste bestimmt das Tempo.
• Stromversorgung und Kühlung: Mehrere Karten brauchen Netzteil und Gehäuse mit Platz.

Siehe auch: VRAM und Modellgröße, Speicherbandbreite