VRAM und Modellgröße

Kurz: VRAM ist der Speicher der Grafikkarte. Ein Sprachmodell läuft am schnellsten, wenn es komplett hineinpasst.

Genauer: Der Speicherbedarf in Gigabyte ist ungefähr: Parameter (in Milliarden) × Bits pro Gewicht ÷ 8, dazu 10 bis 20 % für Kontext und Zwischenwerte. Ein 70-Milliarden-Modell braucht in 16 Bit 140 GB, in 4 Bit etwa 40 GB.

Kontext bei uns: Der KI-Tempo-Rechner prüft, ob Modell und Kontext in den VRAM passen. Sonst wird der Rest in den langsameren Arbeitsspeicher ausgelagert (Auslagern von Modellen (Offloading)).

Im Detail

Modell	16 Bit	8 Bit	4 Bit
8 Mrd.	16 GB	8 GB	4,5 GB
32 Mrd.	64 GB	32 GB	18 GB
70 Mrd.	140 GB	70 GB	40 GB

• KV-Cache: Wächst mit der Kontextlänge und kommt zum Modell hinzu (KV-Cache).
• Mehrere Karten: Der Speicher addiert sich, die Geschwindigkeit hängt von der Aufteilung ab (Multi-GPU und Tensor-Parallelismus).
• Faustregel für Käufer: 24 GB VRAM erlauben Modelle bis etwa 30 Milliarden Parameter in 4 Bit, 48 GB bis etwa 70 Milliarden.

Siehe auch: Quantisierung, Speicherbandbreite