Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Mixture of Experts (MoE) Bei einem Mixture-of-Experts-Modell besteht jede Schicht aus vielen „Experten", von denen pro Token nur wenige aktiv sind. Dadurch ist es viel schneller als ein gleich großes „dichtes" Modell.
Ein Modell kann zum Beispiel 100 Milliarden Parameter insgesamt haben, aber pro Token nur 12 Milliarden nutzen. Es braucht den Speicher für alle 100 Milliarden, liest aber pro Token nur den aktiven Teil. Das Tempo entspricht dem eines 12-Milliarden-Modells.
Verwandt: Auslagern von Modellen (Offloading) · Parameter (KI-Modell) · Tokens pro Sekunde
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Mixture of Experts (MoE) Bei einem Mixture-of-Experts-Modell besteht jede Schicht aus vielen „Experten", von denen pro Token nur wenige aktiv sind. Dadurch ist es viel schneller als ein gleich großes „dichtes" Modell.
Ein Modell kann zum Beispiel 100 Milliarden Parameter insgesamt haben, aber pro Token nur 12 Milliarden nutzen. Es braucht den Speicher für alle 100 Milliarden, liest aber pro Token nur den aktiven Teil. Das Tempo entspricht dem eines 12-Milliarden-Modells.
Verwandt: Auslagern von Modellen (Offloading) · Parameter (KI-Modell) · Tokens pro Sekunde
Ganzer Artikel im Wiki →