Mixture of Experts | Mühendislik Wiki

Uzmanlar karışımı (Mixture of Experts) — Her token veya örnek için modelin tüm feed-forward kapasitesi yerine seçilen az sayıda uzman alt ağı etkinleştiren sparse model mimarisi.

Makine Öğrenmesi Bağlamı

Router tokenları top-k expert'e yönlendirir; toplam parametre sayısı yüksekken aktif FLOP daha sınırlı kalabilir. Load balancing ve expert capacity dağıtık training/inference için kritiktir.

Genelleme ve Ölçüm Sınırı

MoE daha düşük latency garantisi vermez; expert routing iletişimi, imbalance ve memory footprint önemli maliyetlerdir.

İlişkili Makine Öğrenmesi Kavramları

Transformer
Router
Sparse Model
Load Balancing

Doğrudan kaynak: Mixture of Experts için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.