Parameter (KI-Modell)

Kurz: Parameter (Gewichte) sind die Zahlen, in denen ein neuronales Netz sein Wissen speichert. „7B” heißt sieben Milliarden Parameter.

Genauer: Je mehr Parameter, desto mehr Wissen und Fähigkeiten, aber auch mehr Speicher und langsamere Ausführung. Die Qualität hängt außerdem von den Trainingsdaten und der Methode ab. Moderne kleine Modelle (7 bis 14 Milliarden) schlagen heute ältere, viel größere.

Im Detail

• Größenklassen: unter 3B (Handy, Edge), 7 bis 14B (Laptop, 8 GB bis 16 GB), 30 bis 40B (starke Grafikkarte), 70B (zwei Karten oder Mac), über 100B (Server, Workstation).
• Dichte und MoE-Modelle: Mixture of Experts (MoE) trennt Gesamt- und aktive Parameter.
• Training: Training braucht ein Vielfaches des Speichers wie der Betrieb (Gewichte, Gradienten, Optimizer-Zustand).
• Bits: Jeder Parameter belegt je nach Quantisierung 0,5 bis 4 Bytes.

Siehe auch: VRAM und Modellgröße, Finetuning und LoRA