Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Parameter (KI-Modell) Parameter (Gewichte) sind die Zahlen, in denen ein neuronales Netz sein Wissen speichert. „7B" heißt sieben Milliarden Parameter.
Je mehr Parameter, desto mehr Wissen und Fähigkeiten, aber auch mehr Speicher und langsamere Ausführung. Die Qualität hängt außerdem von den Trainingsdaten und der Methode ab. Moderne kleine Modelle (7 bis 14 Milliarden) schlagen heute ältere, viel größere.
Verwandt: Finetuning und LoRA · Mixture of Experts (MoE) · Benchmarks für Sprachmodelle · Quantisierung · Transformer-Architektur · VRAM und Modellgröße
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Parameter (KI-Modell) Parameter (Gewichte) sind die Zahlen, in denen ein neuronales Netz sein Wissen speichert. „7B" heißt sieben Milliarden Parameter.
Je mehr Parameter, desto mehr Wissen und Fähigkeiten, aber auch mehr Speicher und langsamere Ausführung. Die Qualität hängt außerdem von den Trainingsdaten und der Methode ab. Moderne kleine Modelle (7 bis 14 Milliarden) schlagen heute ältere, viel größere.
Verwandt: Finetuning und LoRA · Mixture of Experts (MoE) · Benchmarks für Sprachmodelle · Quantisierung · Transformer-Architektur · VRAM und Modellgröße
Ganzer Artikel im Wiki →