Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Auslagern von Modellen (Offloading) Passt ein Modell nicht in den VRAM, kann man einen Teil in den Arbeitsspeicher (RAM) auslagern. Das funktioniert, ist aber langsamer.
Zwei Verfahren: Beim Schichten-Split bleiben die ersten Schichten auf der Grafikkarte, die restlichen laufen auf dem Prozessor. Beim Tensor-Offload bleiben die rechenintensiven Teile auf der Karte, die großen, selten genutzten Expertengewichte im RAM. Letzteres ist bei MoE-Modellen sehr effektiv.
Verwandt: Mixture of Experts (MoE) · VRAM und Modellgröße · GGUF und llama.cpp · Speicherbandbreite
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Auslagern von Modellen (Offloading) Passt ein Modell nicht in den VRAM, kann man einen Teil in den Arbeitsspeicher (RAM) auslagern. Das funktioniert, ist aber langsamer.
Zwei Verfahren: Beim Schichten-Split bleiben die ersten Schichten auf der Grafikkarte, die restlichen laufen auf dem Prozessor. Beim Tensor-Offload bleiben die rechenintensiven Teile auf der Karte, die großen, selten genutzten Expertengewichte im RAM. Letzteres ist bei MoE-Modellen sehr effektiv.
Verwandt: Mixture of Experts (MoE) · VRAM und Modellgröße · GGUF und llama.cpp · Speicherbandbreite
Ganzer Artikel im Wiki →