Słownik AI / MoE (Mixture of Experts)
🏗️ Modele i trening
MoE (Mixture of Experts)
Architektura, w której model ma wielu „ekspertów”, ale do każdego zadania budzi tylko część z nich.
Mixture of Experts to architektura, w której model składa się z wielu wyspecjalizowanych podsieci („ekspertów”), ale przy każdym zapytaniu aktywuje tylko kilku z nich. Dzięki temu model może mieć ogromną łączną liczbę parametrów, a mimo to działać szybko i tanio - bo naraz pracuje tylko wycinek.
MoE stoi za wieloma czołowymi modelami ostatnich lat, zwłaszcza otwartymi. Dla użytkownika to szczegół techniczny, ale wyjaśnia pozorny paradoks: jak modele o setkach miliardów parametrów mogą odpowiadać błyskawicznie.
Pojęcia powiązane