Modell-Verkleinerung: Destillation und Pruning

Kurz: Man kann große Modelle kleiner und schneller machen: Destillation (ein kleines Modell lernt vom großen), Quantisierung (weniger Bits pro Zahl) und Pruning (unwichtige Gewichte entfernen).

Genauer: Ziel ist, auf Handys und kleinen Rechnern zu laufen oder Kosten pro Anfrage zu senken, bei möglichst wenig Qualitätsverlust.

Im Detail

• Destillation: Ein „Schüler“ lernt, die Ausgaben (Wahrscheinlichkeiten) eines „Lehrers“ nachzuahmen. Weiche Wahrscheinlichkeiten enthalten mehr Information als harte Labels. Viele kleine Modelle entstehen so.
• Quantisierung: Gewichte in 8, 4 oder weniger Bit speichern, siehe quantisierung und gguf-und-llama.cpp.
• Pruning: Unwichtige Gewichte oder ganze Köpfe/Schichten entfernen. Strukturiertes Pruning beschleunigt wirklich, ungeordnetes oft nur auf Spezial-Hardware.
• Niedrigrang-Zerlegung: Große Matrizen als Produkt kleiner, wie bei LoRA (finetuning-und-lora).
• Spekulatives Decoding: Kleines Modell rät, großes prüft, siehe spekulatives-decoding.
• Kompromiss: Weniger Speicher und schneller, dafür leicht schlechter, vor allem bei Rechnen und seltenem Wissen.

Siehe auch: quantisierung, vram-und-modellgröße