Instruktions-Tuning und Chat-Format

Kurz: Ein vortrainiertes Modell setzt Texte nur fort. Beim Instruktions-Tuning (SFT, überwachtes Feintuning) lernt es an Beispielen von Frage und guter Antwort, Anweisungen zu befolgen und als Assistent zu antworten.

Genauer: Ein Basismodell auf „Wie backe ich einen Kuchen?“ könnte mit weiteren Fragen weitermachen. Nach dem Tuning antwortet es mit einer Anleitung.

Im Detail

• Daten: Zehntausende bis Millionen Beispiele aus menschlich geschriebenen Antworten und gefilterten Modell-Antworten.
• Chat-Format: Der Text wird in Rollen gegliedert: System (Verhalten), Benutzer, Assistent. Besondere Tokens markieren die Rollen. Das Modell lernt, nur als „Assistent“ zu schreiben.
• Systemprompt: Anweisungen des Betreibers, die vor dem Gespräch stehen.
• Verlust nur auf Antworten: Beim SFT wird nur der Assistenten-Teil bewertet.
• Wenig Daten reichen: Qualität schlägt Menge („LIMA“-Beobachtung): Das Wissen ist schon im Vortraining, das Tuning formt nur das Verhalten.
• Danach: Präferenz-Lernen, siehe RLHF und Präferenzoptimierung.
• Alternative: Eigenes Feintuning für Fachgebiete, siehe finetuning-und-lora.

Siehe auch: prompt-engineering, Wie ein Sprachmodell trainiert wird