Wissensdestillation: Kleine Modelle lernen von großen

Kurz: Bei der Destillation lernt ein kleines „Schüler“-Modell, die Ausgaben eines großen „Lehrer“-Modells nachzuahmen, und wird dadurch viel schneller bei ähnlicher Qualität.

Genauer: Große Sprachmodelle sind teuer im Betrieb. Destillation überträgt ihr Wissen auf ein kleineres Modell. Statt nur auf richtigen Antworten zu trainieren, sieht der Schüler die Wahrscheinlichkeitsverteilung des Lehrers und lernt dadurch mehr als aus harten Etiketten.

Im Detail

Die Idee

Bei einer Bilderkennung gibt ein Lehrer für ein Katzenfoto vielleicht an: 90 % Katze, 8 % Luchs, 2 % Hund. Diese weichen Ziele verraten, dass Katze und Luchs ähnlich sind. Ein Schüler, der nur „Katze“ als richtige Antwort sieht, erhält diese Information nicht. Geoffrey Hinton und Kollegen beschrieben 2015, wie man solche Wahrscheinlichkeiten mit einer Temperatur glättet und als Trainingsziel nutzt.

Bei Sprachmodellen

Der Schüler wird auf Texten trainiert, die der Lehrer erzeugt hat (Sequenz-Destillation), oder direkt auf den Wahrscheinlichkeiten des Lehrers für das nächste Token (Logit-Destillation). Aktuelle kleine Modelle wie manche Varianten von Llama, Gemma oder DistilBERT nutzen solche Verfahren. Auch Antworten aus einem starken Modell mit Begründungsketten werden als Trainingsdaten für kleinere Modelle verwendet.

Nutzen

• Schneller und günstiger im Betrieb, weniger Speicher.
• Läuft auf Handy oder Laptop (Edge-KI).
• Oft deutlich besser als ein gleich großes Modell, das nur auf Originaldaten trainiert wurde. Grenzen: Der Schüler übertrifft den Lehrer selten, übernimmt dessen Fehler und Vorurteile und verliert oft seltene Fähigkeiten.

Rechtliches und Praxis

Die Nutzungsbedingungen mancher Anbieter verbieten, Ausgaben ihrer Modelle zum Training konkurrierender Modelle zu verwenden. Offene Lehrer-Modelle lassen sich meist freier nutzen. Destillation ist eine Ergänzung zu Quantisierung und Pruning, die ein fertiges Modell verkleinern, statt ein neues zu trainieren.

Siehe auch: Quantisierung, Feintuning und LoRA, Edge-KI, Temperatur und Sampling