Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Finetuning und LoRA Beim Finetuning wird ein fertiges Modell mit zusätzlichen Beispielen weitertrainiert, damit es eine Aufgabe oder einen Stil besser beherrscht. LoRA macht das mit sehr wenig Speicher.
Statt alle Milliarden Parameter zu ändern, trainiert LoRA (Low-Rank Adaptation) kleine Zusatzmatrizen, die am Ende nur wenige Megabyte groß sind. Man kann sie auf das Basismodell aufsetzen oder austauschen. QLoRA kombiniert das mit einem quantisierten Basismodell.
Verwandt: Parameter (KI-Modell) · Quantisierung · RAG (Retrieval-Augmented Generation)
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Finetuning und LoRA Beim Finetuning wird ein fertiges Modell mit zusätzlichen Beispielen weitertrainiert, damit es eine Aufgabe oder einen Stil besser beherrscht. LoRA macht das mit sehr wenig Speicher.
Statt alle Milliarden Parameter zu ändern, trainiert LoRA (Low-Rank Adaptation) kleine Zusatzmatrizen, die am Ende nur wenige Megabyte groß sind. Man kann sie auf das Basismodell aufsetzen oder austauschen. QLoRA kombiniert das mit einem quantisierten Basismodell.
Verwandt: Parameter (KI-Modell) · Quantisierung · RAG (Retrieval-Augmented Generation)
Ganzer Artikel im Wiki →