EMZETT.Kurz erklärt
Mit mehreren Grafikkarten lässt sich ein Modell aufteilen, das auf eine einzelne nicht passt.
Genauer
Beim Schichten-Split (Layer/Pipeline) liegt jede Karte auf einem Teil der Schichten, die Karten arbeiten nacheinander. Der Speicher addiert sich, das Tempo entspricht aber etwa einer Karte. Beim Tensor-Parallelismus rechnen alle Karten gleichzeitig an jeder Schicht und tauschen laufend Zwischenergebnisse aus. Das ist schneller, braucht aber eine schnelle Verbindung (NVLink oder PCIe).