Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits (z. B. 4 statt 16). Das spart Speicher und macht das Modell schneller, kostet aber etwas Qualität.
Ein Gewicht in 16-Bit-Gleitkomma braucht 2 Bytes, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. Da die Geschwindigkeit an der Speicherbandbreite hängt, ist ein 4-Bit-Modell grob viermal so schnell wie dasselbe Modell in 16 Bit.
Verwandt: GGUF und llama.cpp · VRAM und Modellgröße · Zahlenformate: FP32, FP16, BF16 und FP8 · Finetuning und LoRA · Parameter (KI-Modell) · Tokens pro Sekunde
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits (z. B. 4 statt 16). Das spart Speicher und macht das Modell schneller, kostet aber etwas Qualität.
Ein Gewicht in 16-Bit-Gleitkomma braucht 2 Bytes, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. Da die Geschwindigkeit an der Speicherbandbreite hängt, ist ein 4-Bit-Modell grob viermal so schnell wie dasselbe Modell in 16 Bit.
Verwandt: GGUF und llama.cpp · VRAM und Modellgröße · Zahlenformate: FP32, FP16, BF16 und FP8 · Finetuning und LoRA · Parameter (KI-Modell) · Tokens pro Sekunde
Ganzer Artikel im Wiki →