Transfer Learning und Vortraining

Kurz: Beim Transfer Learning startet man mit einem Modell, das schon für eine große Aufgabe trainiert wurde, und passt es mit wenig Daten an die eigene an. Das spart Daten, Zeit und Rechenkosten.

Genauer: Frühe Schichten eines Bildnetzes erkennen Kanten und Texturen, die in fast jeder Aufgabe nützlich sind. Nur die letzten Schichten müssen neu lernen.

Im Detail

• Vorgehen: Vortrainiertes Modell laden → letzte Schicht ersetzen → entweder nur diese trainieren („einfrieren“ der anderen) oder alles mit kleiner Lernrate feintunen.
• Bilder: Vortraining auf ImageNet, dann Pflanzen-Erkennung mit 500 eigenen Fotos.
• Sprache: Vortraining auf Webtexten, dann Aufgaben-Anpassung oder Prompting, siehe finetuning-und-lora.
• Warum es klappt: Vortrainierte Modelle haben allgemeine Merkmale gelernt.
• Risiken: Verzerrungen und Lizenzen des Basismodells werden übernommen, „Katastrophales Vergessen“ beim Feintunen.
• Heute: Fast alle KI-Anwendungen starten mit einem Fundamentmodell, siehe hugging-face.

Siehe auch: Faltungsnetze (CNN) für Bilder, Wie ein Sprachmodell trainiert wird