Mixture of Experts (MoE)
De definitie
Mixture of Experts (MoE) is een architecturale benadering voor neurale netwerken waarbij een model wordt opgesplitst in meerdere gespecialiseerde submodellen, de zogenaamde 'experts', die elk een deel van de parameters bevatten. In plaats van dat elke invoer door het volledige netwerk wordt verwerkt, bepaalt een zogeheten gating- of routeringsnetwerk welke experts voor een specifieke invoer worden geactiveerd, meestal slechts een klein aantal van de in totaal beschikbare experts. Dit principe van sparse activation, waarbij per token of voorbeeld maar een fractie van de totale parameters daadwerkelijk wordt gebruikt, stelt modellen in staat om het totale aantal parameters en daarmee de modelcapaciteit sterk te vergroten zonder dat de rekenkosten per inferentie- of trainingsstap proportioneel toenemen. MoE-architecturen worden tegenwoordig op grote schaal toegepast in large language models, waar ze het mogelijk maken om modellen met honderden miljarden of zelfs biljoenen parameters te trainen en te draaien tegen rekenkosten die vergelijkbaar zijn met veel kleinere dense modellen. Belangrijke technische uitdagingen bij MoE zijn onder meer het zorgen voor een gelijkmatige belastingverdeling tussen experts (load balancing), het voorkomen dat bepaalde experts worden overbelast of nauwelijks gebruikt, en het efficiënt verdelen van experts over meerdere GPU's of rekenclusters tijdens training en inferentie.
Mixture of Experts (MoE) Op de arbeidsmarkt
In Nederland groeit de vraag naar professionals met kennis van Mixture of Experts-architecturen, gedreven door de toenemende adoptie van grootschalige language models binnen zowel internationale techbedrijven met vestigingen in Nederland als lokale AI-startups en onderzoeksinstellingen die aan de grens van modelschaal opereren. Omdat MoE-architecturen aanzienlijk complexere eisen stellen aan infrastructuur, zoals het efficiënt verdelen van experts over meerdere GPU's en het beheersen van communicatieoverhead tussen rekenclusters, zijn vooral senior machine learning engineers, AI research engineers en infrastructure-gerichte specialisten met ervaring in distributed training in trek. Vacatures bij organisaties die eigen large language models trainen of finetunen, of die geavanceerde open-source MoE-modellen inzetten en optimaliseren voor productieomgevingen, noemen MoE steeds vaker als gewenste of vereiste ervaring, vaak in combinatie met kennis van GPU-clusters, model parallelism en efficiënte inferentietechnieken. Hoewel het aantal functies dat MoE expliciet vereist nog relatief beperkt is in vergelijking met algemenere deep learning-vaardigheden, wordt kennis van deze architectuur steeds vaker gezien als onderscheidend voor rollen op het snijvlak van modelontwikkeling en AI-infrastructuur, en als indicatie van affiniteit met de nieuwste ontwikkelingen in large language model-architecturen.
Kernvaardigheden & tools
-
Concepten: Sparse activation, Gating/routeringsnetwerken, Expert capacity, Load balancing, Top-k routing
-
Architecturen: Switch Transformer, Mixtral-stijl MoE, GShard, Dense versus sparse modellen
-
Training & optimalisatie: Distributed training, Model parallelism, Expert parallelism, Auxiliary loss voor load balancing
-
Infrastructuur: Multi-GPU/TPU-clusters, Interconnect-bandbreedte, Communicatie-overhead optimalisatie
-
Tools & frameworks: PyTorch, DeepSpeed, Megatron-LM, JAX, Hugging Face Transformers
-
Talen: Python, CUDA (basiskennis)
Veelvoorkomende functietitels
-
Machine Learning Engineer
-
AI Research Scientist
-
ML Infrastructure Engineer
-
Deep Learning Engineer
-
LLM Engineer
-
Distributed Systems Engineer (AI)



