Finetuning und LoRA

Kurz: Beim Finetuning wird ein fertiges Modell mit zusätzlichen Beispielen weitertrainiert, damit es eine Aufgabe oder einen Stil besser beherrscht. LoRA macht das mit sehr wenig Speicher.

Genauer: Statt alle Milliarden Parameter zu ändern, trainiert LoRA (Low-Rank Adaptation) kleine Zusatzmatrizen, die am Ende nur wenige Megabyte groß sind. Man kann sie auf das Basismodell aufsetzen oder austauschen. QLoRA kombiniert das mit einem quantisierten Basismodell.

Im Detail

• Wann sinnvoll: Fester Stil, Fachsprache, bestimmtes Ausgabeformat. Für neues Wissen ist RAG (Retrieval-Augmented Generation) oft besser.
• Daten: Hunderte bis Tausende gute Beispiele reichen oft.
• Hardware: Mit QLoRA lässt sich ein 7-Milliarden-Modell auf einer Karte mit 12 bis 16 GB VRAM anpassen.
• Risiken: Überanpassung, Verlust von Allgemeinwissen, Datenschutz bei Trainingsdaten.

Siehe auch: Parameter (KI-Modell), Quantisierung