EMZETT.Kurz erklärt
Passt ein Modell nicht in den VRAM, kann man einen Teil in den Arbeitsspeicher (RAM) auslagern. Das funktioniert, ist aber langsamer.
Genauer
Zwei Verfahren: Beim Schichten-Split bleiben die ersten Schichten auf der Grafikkarte, die restlichen laufen auf dem Prozessor. Beim Tensor-Offload bleiben die rechenintensiven Teile auf der Karte, die großen, selten genutzten Expertengewichte im RAM. Letzteres ist bei MoE-Modellen sehr effektiv.