Mixture of Experts (MoE)

Kurz: Bei einem Mixture-of-Experts-Modell besteht jede Schicht aus vielen „Experten”, von denen pro Token nur wenige aktiv sind. Dadurch ist es viel schneller als ein gleich großes „dichtes” Modell.

Genauer: Ein Modell kann zum Beispiel 100 Milliarden Parameter insgesamt haben, aber pro Token nur 12 Milliarden nutzen. Es braucht den Speicher für alle 100 Milliarden, liest aber pro Token nur den aktiven Teil. Das Tempo entspricht dem eines 12-Milliarden-Modells.

Kontext bei uns: Der KI-Tempo-Rechner unterscheidet „Parameter gesamt” und „Parameter aktiv” und berücksichtigt, dass beim Stapeln mehrerer Anfragen mehr Experten gelesen werden.

Im Detail

• Router: Ein kleines Netz wählt je Token die passenden Experten.
• Vorteil: Mehr Wissen bei gleichem Rechenaufwand pro Token.
• Nachteil: Der volle Speicherbedarf bleibt. Passt das Modell nicht in den VRAM, hilft das Auslagern gut (Auslagern von Modellen (Offloading)), weil pro Token nur Teile aus dem RAM gelesen werden.
• Beispiele: Mixtral, DeepSeek-V3, Qwen3-MoE, GPT-OSS (je nach Version).

Siehe auch: Tokens pro Sekunde, Parameter (KI-Modell)