Auslagern von Modellen (Offloading)

Kurz: Passt ein Modell nicht in den VRAM, kann man einen Teil in den Arbeitsspeicher (RAM) auslagern. Das funktioniert, ist aber langsamer.

Genauer: Zwei Verfahren: Beim Schichten-Split bleiben die ersten Schichten auf der Grafikkarte, die restlichen laufen auf dem Prozessor. Beim Tensor-Offload bleiben die rechenintensiven Teile auf der Karte, die großen, selten genutzten Expertengewichte im RAM. Letzteres ist bei MoE-Modellen sehr effektiv.

Kontext bei uns: Der KI-Tempo-Rechner rechnet beide Verfahren und zeigt, wie viel ausgelagert wird und welche Geschwindigkeit dabei herauskommt.

Im Detail

• Warum langsamer: Die Gesamtzeit setzt sich aus VRAM-Teil und RAM-Teil zusammen. Der RAM-Teil mit 50 bis 100 GB/s dominiert schnell.
• PCIe: Die Verbindung zwischen Karte und RAM spielt bei Offload eine Rolle.
• Praxis: Einige Schichten auszulagern kostet wenig. Wer die Hälfte auslagert, verliert viel Tempo.
• Alternative: Kleineres Modell oder stärkere Quantisierung.

Siehe auch: VRAM und Modellgröße, Speicherbandbreite