Смесь экспертов (Mixture of Experts, MoE)

Коротко: В модели со смесью экспертов (MoE) каждый слой состоит из множества «экспертов», из которых на токен активны лишь несколько. Благодаря этому она намного быстрее «плотной» (dense) модели того же размера.

Подробнее: У модели может быть, например, всего 100 млрд параметров, но на токен используется только 12 млрд. Память нужна под все 100 млрд, но на токен читается только активная часть. Скорость соответствует модели на 12 млрд.

Наш контекст: Калькулятор скорости ИИ различает «общие параметры» и «активные параметры» и учитывает, что при объединении нескольких запросов в пакет читается больше экспертов.

Подробности

• Маршрутизатор (router): небольшая сеть выбирает подходящих экспертов для каждого токена.
• Преимущество: больше знаний при тех же вычислениях на токен.
• Недостаток: полная потребность в памяти остаётся. Если модель не помещается в VRAM, хорошо помогает выгрузка (offloading), потому что на токен из RAM читаются только части.
• Примеры: Mixtral, DeepSeek-V3, Qwen3-MoE, GPT-OSS (в зависимости от версии).

См. также: Токены в секунду, Параметры (модель ИИ)