EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
1 Treffer
VRAM und Modellgröße VRAM ist der Speicher der Grafikkarte. Ein Sprachmodell läuft am schnellsten, wenn es komplett hineinpasst.
Der Speicherbedarf in Gigabyte ist ungefähr: Parameter (in Milliarden) × Bits pro Gewicht ÷ 8, dazu 10 bis 20 % für Kontext und Zwischenwerte. Ein 70-Milliarden-Modell braucht in 16 Bit 140 GB, in 4 Bit etwa 40 GB.
Verwandt: Auslagern von Modellen (Offloading) · KV-Cache · Multi-GPU und Tensor-Parallelismus · Quantisierung · Speicherbandbreite · Parameter (KI-Modell)
Ganzer Artikel im Wiki →