EMZETT.Kurz erklärt
Quantisierung speichert die Gewichte eines Modells mit weniger Bits (z. B. 4 statt 16). Das spart Speicher und macht das Modell schneller, kostet aber etwas Qualität.
Genauer
Ein Gewicht in 16-Bit-Gleitkomma braucht 2 Bytes, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. Da die Geschwindigkeit an der Speicherbandbreite hängt, ist ein 4-Bit-Modell grob viermal so schnell wie dasselbe Modell in 16 Bit.