Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Multi-GPU und Tensor-Parallelismus Mit mehreren Grafikkarten lässt sich ein Modell aufteilen, das auf eine einzelne nicht passt.
Beim Schichten-Split (Layer/Pipeline) liegt jede Karte auf einem Teil der Schichten, die Karten arbeiten nacheinander. Der Speicher addiert sich, das Tempo entspricht aber etwa einer Karte. Beim Tensor-Parallelismus rechnen alle Karten gleichzeitig an jeder Schicht und tauschen laufend Zwischenergebnisse aus. Das ist schneller, braucht aber eine schnelle Verbindung (NVLink oder PCIe).
Verwandt: VRAM und Modellgröße · Speicherbandbreite
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Multi-GPU und Tensor-Parallelismus Mit mehreren Grafikkarten lässt sich ein Modell aufteilen, das auf eine einzelne nicht passt.
Beim Schichten-Split (Layer/Pipeline) liegt jede Karte auf einem Teil der Schichten, die Karten arbeiten nacheinander. Der Speicher addiert sich, das Tempo entspricht aber etwa einer Karte. Beim Tensor-Parallelismus rechnen alle Karten gleichzeitig an jeder Schicht und tauschen laufend Zwischenergebnisse aus. Das ist schneller, braucht aber eine schnelle Verbindung (NVLink oder PCIe).
Verwandt: VRAM und Modellgröße · Speicherbandbreite
Ganzer Artikel im Wiki →