Uzmanların karışımı (Mixture of Experts, MoE)

Kısaca: Uzmanların karışımı (MoE) modelinde her katman çok sayıda “uzmandan” oluşur ve belirteç başına yalnızca birkaçı etkindir. Bu, aynı boyuttaki “yoğun” (dense) bir modelden çok daha hızlı olmasını sağlar.

Biraz daha ayrıntılı: Bir modelin örneğin toplamda 100 milyar parametresi olabilir, ama belirteç başına yalnızca 12 milyarını kullanır. Bellek 100 milyarın tamamı için gerekir, ancak belirteç başına yalnızca etkin kısım okunur. Hız, 12 milyarlık bir modele karşılık gelir.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısı “toplam parametre” ile “etkin parametre”yi ayırır ve birkaç istek gruplandığında daha fazla uzmanın okunduğunu hesaba katar.

Ayrıntılı

• Yönlendirici (router): Küçük bir ağ, belirteç başına uygun uzmanları seçer.
• Avantaj: belirteç başına aynı işlem gücüyle daha fazla bilgi.
• Dezavantaj: Bellek ihtiyacının tamamı kalır. Model VRAM’e sığmıyorsa aktarma (offloading) iyi yardımcı olur, çünkü belirteç başına RAM’den yalnızca parçalar okunur.
• Örnekler: Mixtral, DeepSeek-V3, Qwen3-MoE, GPT-OSS (sürüme göre).

Ayrıca bak: Saniyedeki belirteç, Parametreler (yapay zekâ modeli)