Przejdź do treści
promptowy.com / AI-begrippenlijst / Mixture of Experts (MoE)
Modellen en training

Mixture of Experts (MoE)

Mixture of Experts is een AI-architectuur waarbij een model bestaat uit gespecialiseerde deelsystemen, waarvan er per taak slechts enkele tegelijk actief zijn.

Mixture of Experts (MoE) is een architectuur voor neurale netwerken waarbij het rekenwerk wordt verdeeld over meerdere gespecialiseerde subnetwerken, ook wel experts genoemd. In plaats van dat het volledige model voor elk afzonderlijk woord of token moet rekenen, selecteert een slimme verdeler alleen de meest relevante experts voor die specifieke taak.

Deze aanpak verklaart een opvallend fenomeen in de wereld van taalmodellen: hoe kan een systeem met vele honderden miljarden parameters toch razendsnel reageren op je vraag? Het antwoord is dat een groot deel van het netwerk tijdens het formuleren van het antwoord simpelweg pauzeert. Slechts een fractie van de totale rekenkracht is op ieder moment actief.

Hoe MoE achter de schermen werkt

Traditionele taalmodellen zijn zogeheten dichte modellen (dense models). Dit betekent dat elke parameter in het netwerk meerekent bij elk woord dat het model verwerkt. MoE kiest voor een spaarzame aanpak (sparse model) die uit twee hoofdcomponenten bestaat:

  • De experts: Dit zijn afzonderlijke lagen of groepen neuronen binnen het netwerk. Elk van deze experts ontwikkelt tijdens het trainingsproces een eigen focus op bepaalde patronen, grammaticale constructies of specifieke kennisdomeinen.
  • Het routeringsnetwerk (de gate): Dit is een beslislaag die voor ieder token razendsnel beoordeelt welke experts de benodigde kennis hebben. De router kent gewichten toe en stuurt de invoer door naar meestal twee of drie experts, terwijl de rest inactief blijft.

Omdat per rekenstap slechts een handvol experts tegelijk vuurt, blijft de benodigde computertijd per woord nagenoeg gelijk aan die van een veel kleiner model, terwijl het gehele systeem profiteert van de enorme opslagcapaciteit van alle experts samen.

Een vergelijking met een adviesbureau in Utrecht of Antwerpen

Stel je een groot ingenieurs- en adviesbureau voor met vestigingen in steden zoals Utrecht en Antwerpen. Binnen dit kantoor werken specialisten op allerlei gebieden: bodemsanering, akoestiek bij spoorwegen, stadsplanning en subsidieaanvragen voor monumentale panden.

Wanneer een gemeente een complexe vraag indient over geluidsoverlast rond een nieuw station, roept de directie niet alle driehonderd werknemers naar de vergaderzaal. Dat zou veel te traag en veel te duur zijn. In plaats daarvan bekijkt een projectmanager (de router) het dossier en schuiven uitsluitend de spoorwegingenieur en de akoestisch adviseur aan tafel. Zodra het rapport moet worden getoetst aan lokale milieuvergunningen, wisselt het team en sluit de jurist kort aan. Zo werkt MoE precies: dynamische taakverdeling op basis van wat op dat specifieke moment nodig is.

De voor- en nadelen in de praktijk

Voor organisaties die AI integreren in hun dagelijkse werkprocessen levert MoE duidelijke operationele voordelen op, maar er zijn ook technische aandachtspunten.

Het grootste voordeel is de verhouding tussen reactietijd en kwaliteit. Tijdens de gebruiksfase (inference) verbruikt het model relatief weinig energie en levert het snel antwoorden af, omdat de actieve rekenlast beperkt blijft. Hierdoor kunnen ontwikkelaars zeer capabele assistenten bouwen die soepel aanvoelen voor de eindgebruiker.

De keerzijde zit in het geheugengebruik. Hoewel niet alle experts tegelijk rekenen, moeten ze wel allemaal tegelijkertijd in het werkgeheugen (VRAM) van de grafische kaarten worden geladen. Een lokaal draaiend MoE-model vraagt daardoor nog steeds om aanzienlijke hardware, zelfs al rekent het zo vlot als een kleiner model.

Veelgemaakte denkfouten over experts

Een veelvoorkomend misverstand is het idee dat ontwikkelaars de experts vooraf handmatig indelen, bijvoorbeeld door één subgroep te programmeren als de wiskundige en een andere als de historicus. Dat is niet hoe het werkt. Het trainingsproces bepaalt zelfstandig en wiskundig hoe de taken worden verdeeld over de beschikbare sublagen.

Een andere fout is het verwarren van het totale aantal parameters met de actieve parameters. Wanneer een model een enorm totaal aantal parameters vermeldt op basis van een MoE-opzet, werkt tijdens jouw chatgesprek vaak maar een kwart of minder van dat totale volume tegelijkertijd aan je antwoord.

Veelgestelde vragen

Wat is het verschil tussen een dense model en een MoE-model?

Bij een dense model berekent elke parameter mee voor elk gegenereerd woord. Bij een MoE-model selecteert een intern routeringsmechanisme per woord slechts enkele gespecialiseerde subgroepen, waardoor er veel minder rekenkracht per stap nodig is.

Werkt een MoE-model trager omdat het moet kiezen tussen experts?

Nee, de beslissing van de router kost verwaarloosbaar weinig tijd. Omdat er vervolgens maar een klein deel van het model actief hoeft te rekenen, reageert een MoE-model in de regel juist veel sneller dan een regulier model van vergelijkbare totale omvang.

Kan ik een MoE-model draaien op een normale kantoorcomputer?

Dat hangt af van de totale bestandsgrootte. Hoewel het model minder rekencapaciteit van de processor vraagt, moeten alle experts tegelijkertijd in het geheugen passen, wat bij grote modellen alsnog professionele grafische kaarten vereist.

← Alle termen in de AI-begrippenlijst

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›