AI Safety

AI Safety is een vakgebied binnen onderzoek en engineering dat zich richt op het voorkomen en beperken van onbedoeld of schadelijk gedrag van AI-systemen. Het omvat zowel technisch onderzoek naar de betrouwbaarheid en beheersbaarheid van modellen als praktische engineeringmaatregelen die ervoor zorgen dat AI-systemen zich houden aan de intenties van hun ontwikkelaars, ook onder onverwachte omstandigheden of bij tegenwerking door kwaadwillende gebruikers. Kernthema's binnen AI Safety zijn onder andere alignment (het afstemmen van modelgedrag op menselijke waarden en instructies), robuustheid tegen adversarial aanvallen en jailbreaks, het voorkomen van schadelijke, misleidende of gevaarlijke outputs, controle over autonome agents, en het beperken van risico's die ontstaan wanneer AI-systemen worden ingezet in gevoelige domeinen zoals gezondheidszorg, financiën of kritieke infrastructuur. Waar AI Safety zich vroeger vooral beperkte tot academisch onderzoek naar existentiële risico's van zeer krachtige toekomstige systemen, is het inmiddels uitgegroeid tot een praktisch, toegepast onderdeel van het bouwen van elk productiewaardig AI-systeem, met eigen tooling, evaluatiemethoden en engineeringpraktijken. Bedrijven die generatieve AI en agentic systemen op grotere schaal inzetten, beschouwen AI Safety-expertise steeds vaker als een noodzakelijke voorwaarde in plaats van een aparte specialisatie.

De vraag naar AI Safety-expertise groeit in Nederland gestaag, gedreven door zowel de snelle adoptie van generatieve AI en agentic systemen als door wetgeving zoals de AI Act, die risicobeoordeling en beheersmaatregelen verplicht stelt voor bepaalde toepassingen. Grote techbedrijven, financiële instellingen en overheidsorganisaties investeren in teams die zich toeleggen op het testen, red-teamen en robuust maken van AI-systemen voordat deze in productie gaan. Waar AI Safety een aantal jaar geleden vooral een niche was binnen academisch onderzoek en een klein aantal gespecialiseerde AI-labs, is kennis van veiligheidsprincipes inmiddels een verwachte competentie geworden voor breed inzetbare AI-engineers, machine learning engineers en onderzoekers. Werkgevers vragen steeds vaker om ervaring met evaluatie van modelgedrag, red-teaming, het opstellen van veiligheidsrichtlijnen en het implementeren van technische waarborgen, ook buiten rollen die expliciet 'AI Safety' in de titel voeren.

• Kernconcepten: Alignment, Robuustheid, Adversarial robustness, Interpretability, Risicoanalyse

• Evaluatie & testen: Red-teaming, Adversarial testing, Jailbreak-detectie, Benchmarking van modelgedrag

• Technieken: Reinforcement learning from human feedback (RLHF), Constitutional AI, Guardrails, Content filtering, Output monitoring

• Governance: Risicoclassificatie, Beleid en richtlijnen, Compliance met AI-regelgeving, Documentatie van modelbeperkingen

• Onderzoek: Wetenschappelijke literatuur, Experimentontwerp, Statistiek

• Talen: Python, PyTorch, TensorFlow

• AI Safety Researcher

• AI Safety Engineer

• Red Team Engineer (AI)

• Alignment Researcher

• Responsible AI Lead

• Machine Learning Engineer (Safety)