In-Context-Learning: Zero-Shot und Few-Shot

Kurz: Ein großes Sprachmodell kann neue Aufgaben lösen, ohne dass man seine Gewichte ändert, allein durch Anweisungen und Beispiele im Prompt. Das heißt In-Context-Learning.

Genauer: Zero-Shot: nur eine Anweisung. One-/Few-Shot: ein paar Beispiele für Eingabe und gewünschte Ausgabe. Das Modell erkennt das Muster und setzt es fort.

Im Detail

• Beispiel Few-Shot: „Bewerte die Stimmung. ‚Toller Film‘ → positiv. ‚Langweilig‘ → negativ. ‚Ganz okay‘ →“
• Warum es funktioniert: Beim Vortraining lernt das Modell, Muster in Texten fortzusetzen. Beispiele im Prompt aktivieren das passende Muster.
• Die Gewichte bleiben gleich: Nach dem Gespräch ist nichts gelernt. Der Effekt gilt nur im Kontext.
• Tipps: Klare Rolle, Format der Antwort vorgeben, 3 bis 5 abwechslungsreiche Beispiele, auch Randfälle zeigen.
• Chain-of-Thought-Prompting: Beispiele mit Zwischenschritten („Denke Schritt für Schritt“), siehe Reasoning-Modelle und Chain of Thought.
• Grenzen: Reihenfolge und Wortwahl der Beispiele ändern Ergebnisse, lange Prompts kosten Tokens.
• Alternative: Feintuning für feste Aufgaben mit vielen Beispielen, siehe finetuning-und-lora.

Siehe auch: prompt-engineering, kontextfenster