Суміш експертів (Mixture of Experts, MoE)

Коротко: У моделі зі сумішшю експертів (MoE) кожен шар складається з безлічі «експертів», з яких на токен активні лише кілька. Завдяки цьому вона набагато швидша за «щільну» (dense) модель того самого розміру.

Докладніше: Модель може мати, наприклад, загалом 100 млрд параметрів, але на токен використовує лише 12 млрд. Пам’ять потрібна під усі 100 млрд, але на токен читається тільки активна частина. Швидкість відповідає моделі на 12 млрд.

Наш контекст: Калькулятор швидкості ШІ розрізняє «загальні параметри» та «активні параметри» й враховує, що при об’єднанні кількох запитів у пакет читається більше експертів.

Подробиці

• Маршрутизатор (router): невелика мережа обирає відповідних експертів для кожного токена.
• Перевага: більше знань за тих самих обчислень на токен.
• Недолік: повна потреба в пам’яті лишається. Якщо модель не вміщується у VRAM, добре допомагає вивантаження (offloading), бо на токен із RAM читаються лише частини.
• Приклади: Mixtral, DeepSeek-V3, Qwen3-MoE, GPT-OSS (залежно від версії).

Див. також: Токени за секунду, Параметри (модель ШІ)