Quantisierung

Kurz: Quantisierung speichert die Gewichte eines Modells mit weniger Bits (z. B. 4 statt 16). Das spart Speicher und macht das Modell schneller, kostet aber etwas Qualität.

Genauer: Ein Gewicht in 16-Bit-Gleitkomma braucht 2 Bytes, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. Da die Geschwindigkeit an der Speicherbandbreite hängt, ist ein 4-Bit-Modell grob viermal so schnell wie dasselbe Modell in 16 Bit.

Kontext bei uns: Im KI-Tempo-Rechner kann man die Quantisierung wählen oder automatisch bestimmen lassen.

Im Detail

• Gängige Stufen: Q8_0 (fast verlustfrei), Q6_K, Q5_K_M, Q4_K_M (guter Kompromiss), Q3, Q2 (deutliche Verluste).
• Bits pro Gewicht: Q4_K_M liegt effektiv bei etwa 4,8 Bit, weil Skalierungswerte mitgespeichert werden.
• Qualitätsverlust: Bei großen Modellen oft klein, bei kleinen Modellen deutlicher. Unter 3 Bit leidet die Qualität stark.
• Formate: GGUF (llama.cpp), GPTQ, AWQ, EXL2, bitsandbytes, FP8.
• Training vs. Betrieb: Quantisiert wird meist nach dem Training für den Betrieb.

Siehe auch: VRAM und Modellgröße, GGUF und llama.cpp, Zahlenformate: FP32, FP16, BF16 und FP8