EMZETT.← KI-Modelle und ihre Hardware
KI-Modelle und ihre Hardware · Lektion 10 von 20
VRAM ist der Speicher der Grafikkarte. Ein Sprachmodell läuft am schnellsten, wenn es komplett hineinpasst.
Der Speicherbedarf in Gigabyte ist ungefähr: Parameter (in Milliarden) × Bits pro Gewicht ÷ 8, dazu 10 bis 20 % für Kontext und Zwischenwerte. Ein 70-Milliarden-Modell braucht in 16 Bit 140 GB, in 4 Bit etwa 40 GB.
Anmelden um Text zu markieren und Notizen zu speichern.
Markiere im Kapitel eine Stelle, die du nicht verstehst, und stell deine Frage. Du entscheidest, wie du die Antwort bekommst.
Keine Stelle markiert (optional).
Noch keine Fragen. Stell die erste, die Community und andere Lernende antworten.