EMZETT.Kurz erklärt
Beim Finetuning wird ein fertiges Modell mit zusätzlichen Beispielen weitertrainiert, damit es eine Aufgabe oder einen Stil besser beherrscht. LoRA macht das mit sehr wenig Speicher.
Genauer
Statt alle Milliarden Parameter zu ändern, trainiert LoRA (Low-Rank Adaptation) kleine Zusatzmatrizen, die am Ende nur wenige Megabyte groß sind. Man kann sie auf das Basismodell aufsetzen oder austauschen. QLoRA kombiniert das mit einem quantisierten Basismodell.