AI-kandidaten screenen op productiegereedheid: wat Nederlandse werkgevers moeten beoordelen

AI-kandidaten screenen op productiegereedheid: wat Nederlandse werkgevers moeten beoordelen

Een AI-professional inhuren die indrukwekkende modellen kan bouwen in een notebook is iets heel anders dan iemand aannemen die die modellen kan deployen, monitoren en onderhouden in een live productieomgeving. Toch vertrouwen veel Nederlandse werkgevers nog steeds sterk op academische referenties en projectportfolio's, zonder te onderzoeken of een kandidaat daadwerkelijk begrijpt wat productiegereedheid inhoudt.

Dit artikel richt zich specifiek op hoe u productiegereedheid kunt beoordelen tijdens uw wervingsproces, inclusief de technische signalen om op te letten, de vragen die u kunt stellen en de organisatorische context die u moet overwegen.

Waarom productiegereedheid vaak over het hoofd wordt gezien

De meeste AI-kandidaten worden beoordeeld op hun vermogen om modellen te trainen, algoritmen te selecteren en resultaten te presenteren. Dit zijn belangrijke vaardigheden, maar ze vertegenwoordigen slechts een deel van het geheel. Productiegereedheid omvat een geheel andere set competenties.

In een productieomgeving moeten modellen:

• Betrouwbaar presteren onder reëel verkeer en datavariabiliteit
• Worden gemonitord op drift en degradatie in de loop van de tijd
• Worden hergetraind of bijgewerkt zonder storingen te veroorzaken
• Naadloos integreren met bestaande softwaresystemen
• Voldoen aan compliancevereisten, waaronder de AVG en de geleidelijk in werking tredende EU AI Act

Veel kandidaten hebben diepgaande expertise in de onderzoeks- of experimentatiefase, maar beperkte ervaring met de operationele uitdagingen die daarna komen. Het verwarren van de twee tijdens de werving leidt tot verkeerde verwachtingen en uiteindelijk tot ondermaatse prestaties.

De kerncompetenties om te beoordelen

1. Fundamenten van software-engineering

Productie-AI is software. Een kandidaat die geen schone, modulaire, testbare code kan schrijven, zal moeite hebben bij te dragen aan een productiesysteem. Zoek tijdens het screenen naar bewijs van:

• Het schrijven van unit- en integratietests voor ML-pipelines
• Het gedisciplineerd gebruiken van versiebeheersystemen zoals Git
• Het structureren van projecten zodat ze door anderen kunnen worden beoordeeld en uitgebreid
• Het begrijpen van containerisatietools zoals Docker

Dit betekent niet dat elke AI-kandidaat een senior software-engineer moet zijn, maar een basisniveau van software-vakmanschap is ononderhandelbaar voor productierollen.

2. MLOps-bewustzijn

MLOps is de praktijk van het toepassen van DevOps-principes op machine learning-workflows. Een productiegereed kandidaat moet bekend zijn met:

• Continue integratie en levering voor ML-modellen
• Experimenttracking-tools zoals MLflow of Weights and Biases
• Feature stores en datapipelines die modellen consistent voeden
• Modelregisters en deploymentplatforms zoals Azure ML, AWS SageMaker of open-source alternatieven

U heeft geen kandidaat nodig die in al deze zaken een expert is, maar ze moeten de concepten vloeiend kunnen bespreken en echte ervaringen met ten minste enkele ervan kunnen beschrijven.

3. Monitoring en observeerbaarheid

Zodra een model is gedeployed, is het werk niet klaar. Productiegereed kandidaten begrijpen dat modellen doorlopende monitoring nodig hebben. Stel in uw interviews vragen over kennis van:

• Datadrift en conceptdrift, en hoe deze te detecteren
• Het instellen van waarschuwingen wanneer de modelprestaties verslechteren
• Het loggen van voorspellingen en inputs voor debugging- en auditdoeleinden
• Het verschil tussen technische systeemgezondheid en modelkwaliteitsmetrieken

Kandidaten die nooit hebben nagedacht over wat er na deployment gebeurt, zijn niet klaar voor productieomgevingen.

4. Denken in faalmodi

Onderzoeksgerichte kandidaten optimaliseren vaak voor het beste geval. Productiegeoriënteerde kandidaten denken na over faalmodi. Vraag kandidaten tijdens interviews te beschrijven wat er mis kan gaan met een model dat zij hebben gebouwd. Sterke antwoorden omvatten:

• Distributieverschuiving in inkomende gegevens
• Stille fouten waarbij het model blijft voorspellen maar met afnemende nauwkeurigheid
• Upstreamfailures in de pipeline die de gegevenskwaliteit beïnvloeden
• Randgevallen die niet waren vertegenwoordigd in de trainingsdata

Een kandidaat die met vertrouwen en specificiteit op deze vragen reageert, heeft waarschijnlijk uit eerste hand ervaring met productieomgevingen.

5. Regelgevings- en compliancebewustzijn

Nederlandse werkgevers die opereren onder de AVG en onder de EU AI Act hebben AI-professionals nodig die deze kaders op praktisch niveau begrijpen. Het is daarbij belangrijk om de actuele stand van de regelgeving scherp te houden. Met de EU AI Omnibus-verordening zijn de deadlines voor hoog-risico AI-systemen uitgesteld: standalone hoog-risico systemen krijgen tot 2 december 2027 de tijd om te voldoen, terwijl AI die is ingebed in gereguleerde producten tot 2 augustus 2028 heeft. Dit betekent dat de zwaarste verplichtingen momenteel nog niet volledig gelden, maar organisaties die nu al bouwen aan systemen die uiteindelijk als hoog-risico worden geclassificeerd, doen er goed aan hier vooruitziend rekening mee te houden.

Dit betekent niet dat uw AI-engineer een jurist hoeft te zijn, maar ze moeten vragen kunnen beantwoorden zoals:

• Hoe zou u omgaan met een verzoek om inzage van een betrokkene dat betrekking heeft op modeltrainingsdata?
• Wat betekent hoog-risico AI-classificatie voor het systeem dat u bouwt, en welke verplichtingen komen daar de komende jaren bij?
• Hoe zou u een model documenteren om nu al voorbereid te zijn op de aankomende compliancebeoordelingen?

Van kandidaten die solliciteren naar senior functies mag zeker worden verwacht dat zij standpunten hebben gevormd over deze onderwerpen, inclusief een realistisch beeld van welke verplichtingen al gelden en welke nog in de overgangsperiode zitten.

Praktische interviewtechnieken

De systeemontwerp vraag

Vraag kandidaten u mee te nemen door hoe zij een specifiek type model, bijvoorbeeld een churn-predictiemodel, van een werkend prototype naar een productiedienst zouden brengen die door 10.000 klanten wordt gebruikt. Let erop of zij spontaan infrastructuur, monitoring, hertrainfrequentie en terugrolstrategieën noemen. Als zij zich uitsluitend richten op modelarchitectuur en nauwkeurigheidsmetrieken, is dat een signaal dat aandacht verdient.

De post-mortem vraag

Vraag kandidaten een moment te beschrijven waarop er iets mis ging in een systeem waaraan zij werkten. Kandidaten met sterke productie-ervaring zullen levendige verhalen hebben over storingen, datapipelinefouten of onverwacht modelgedrag. Ze zullen ook kunnen beschrijven wat ze hebben geleerd en hoe ze daarna hun aanpak hebben veranderd.

Code review-oefeningen

Overweeg een code review-oefening op te nemen in uw technische beoordeling. Presenteer een stuk ML-code dat functioneel correct is maar geen tests heeft, hard-coded parameters bevat of een ongedisciplineerde logstrategie gebruikt. Vraag de kandidaat dit te beoordelen en verbeteringen voor te stellen. Dit onthult praktisch technisch oordeel dat een portfolio van notebooks niet kan onthullen.

Uw criteria aanpassen aan de rol

Niet elke AI-rol vereist dezelfde diepte van productiegereedheid. Een onderzoekswetenschapper die zich richt op verkennend werk heeft andere vereisten dan een AI-engineer die verantwoordelijk is voor een klantgericht aanbevelingssysteem.

Voordat u uw interviewproces ontwerpt, wees expliciet over waar op het onderzoeks-naar-productie spectrum de rol zich bevindt. Pas vervolgens uw vragen en beoordelingen dienovereenkomstig aan. Hierover duidelijk zijn in de functieomschrijving helpt ook om in de eerste plaats de juiste kandidaten aan te trekken.

Veelgemaakte fouten van Nederlandse werkgevers

• Academische referenties overmatig meewegen zonder te onderzoeken naar operationele ervaring
• Alle AI-rollen als uitwisselbaar behandelen terwijl ze zeer verschillende productieve verantwoordelijkheden hebben
• Nalaten iemand van uw engineering- of platformteam op te nemen in het interviewproces
• Niet vragen naar compliancebewustzijn totdat de kandidaat al is ingewerkt
• Onjuiste aannames maken over welke EU AI Act-verplichtingen al van kracht zijn en welke nog in de overgangsperiode vallen
• Aannemen dat ervaring bij een groot technologiebedrijf automatisch overdraagbaar is naar een kleinere of meer gereguleerde Nederlandse omgeving

Een gestructureerd evaluatiekader opbouwen

Om consistentie in uw wervingsproces te brengen, kunt u overwegen een eenvoudige scorerubric te bouwen met categorieën zoals:

• Fundamenten van software-engineering (schaal 1-4)
• MLOps-vertrouwdheid (schaal 1-4)
• Kennis van monitoring en observeerbaarheid (schaal 1-4)
• Denken in faalmodi (schaal 1-4)
• Regelgevingsbewustzijn, inclusief actuele kennis van de EU AI Act-tijdlijn (schaal 1-4)

Laat elke interviewer onafhankelijk scoren en vergelijk daarna de notities. Dit vermindert recency bias, halo-effecten en de invloed van interviewpresentatiestijl op de werkelijke inhoud.

Een laatste noot over eerlijke functieomschrijvingen

Een van de meest effectieve manieren om productiegereed kandidaten aan te trekken is het schrijven van eerlijke, specifieke functieomschrijvingen. Als de rol Kubernetes omvat, zeg dat dan. Als het team deployt naar Azure, vermeld dat dan. Als compliance met de EU AI Act onderdeel is van de functie, vermeld dan ook duidelijk welke termijnen relevant zijn, zeker nu de deadlines voor hoog-risico systemen zijn opgeschoven naar december 2027 en augustus 2028.

Vage functieomschrijvingen trekken een breed scala aan kandidaten aan, van wie velen niet geschikt zullen zijn. Specifieke omschrijvingen filteren van nature op kandidaten die de productie-ervaring hebben die u daadwerkelijk nodig heeft.