Context Window
De definitie
Het context window, ook wel contextvenster genoemd, is de maximale hoeveelheid tekst die een large language model tegelijkertijd kan verwerken en 'onthouden' tijdens een enkele interactie, uitgedrukt in tokens. Dit omvat zowel de invoer, zoals de systeemprompt, eerdere berichten in een gesprek, meegegeven documenten en instructies, als de door het model gegenereerde uitvoer. Omdat transformer-architecturen de relatie tussen alle tokens binnen het venster berekenen via het aandachtsmechanisme (attention), neemt de benodigde rekenkracht en het geheugengebruik doorgaans kwadratisch toe met de lengte van het context window, al hebben technieken zoals sparse attention, sliding window attention en efficiëntere positionele encoderingen, waaronder RoPE, dit effect bij recente modellen aanzienlijk verminderd. Zodra de omvang van de invoer en uitvoer de limiet van het context window overschrijdt, moet oudere informatie worden ingekort, samengevat of volledig vergeten, wat kan leiden tot verlies van relevante context tijdens lange gesprekken of bij het verwerken van omvangrijke documenten. Moderne modellen verschillen sterk in de grootte van hun context window, variërend van enkele duizenden tot meerdere miljoenen tokens, en onderzoek toont aan dat modellen niet altijd even goed presteren over de volledige lengte van hun venster, een fenomeen dat vaak wordt aangeduid als 'lost in the middle'. Het context window is daarom een cruciale technische beperking die direct van invloed is op toepassingen zoals Retrieval-Augmented Generation, lange documentanalyse, meertalige conversaties en agentic workflows met uitgebreide tussenstappen.
Context Window Op de arbeidsmarkt
In Nederland groeit het belang van kennis over context windows gestaag naarmate organisaties steeds meer generatieve AI-toepassingen bouwen rondom large language models, van klantenservicebots tot documentanalysesystemen bij overheidsinstellingen, banken en verzekeraars. AI engineers en product managers moeten in staat zijn om bewuste afwegingen te maken tussen de omvang van het context window, kosten, latency en antwoordkwaliteit, bijvoorbeeld door te kiezen voor chunking en retrieval-strategieën in plaats van het simpelweg vergroten van het venster. Nederlandse bedrijven die werken met gevoelige of omvangrijke documentatie, zoals juridische contracten, medische dossiers of technische specificaties, vragen specifiek om kandidaten die ervaring hebben met het optimaliseren van promptstructuren en het beheren van tokengebruik binnen de grenzen van het gekozen model. Daarnaast speelt het context window een rol bij de keuze tussen verschillende modelleveranciers en -versies, waarbij consultants en solutions architects klanten adviseren over de juiste balans tussen modelgrootte, contextlengte en operationele kosten. Door de groeiende populariteit van agentic AI-systemen, waarin modellen lange reeksen tussenstappen en tool-aanroepen moeten bijhouden, wordt praktische kennis van context window-beperkingen en mitigatiestrategieën een steeds relevantere vaardigheid voor zowel technische als productgerichte rollen in de Nederlandse AI-sector.
Kernvaardigheden & tools
-
Concepten: Tokenisatie, Attention mechanisme, Positionele encodering (RoPE), 'Lost in the middle', Geheugen- en rekencomplexiteit
-
Optimalisatietechnieken: Chunking, Summarisatie, Sliding window attention, Sparse attention, Context compression
-
Toepassingen: Retrieval-Augmented Generation, Lange documentanalyse, Agentic workflows, Meerdere-beurten-conversaties
-
Modelkennis: Contextlengtes van verschillende LLM's, Trade-offs tussen contextgrootte en kosten/latency, Promptstructurering
-
Tools & frameworks: LangChain, LlamaIndex, Tokenizer-bibliotheken (bijv. tiktoken), API-parameters van modelproviders
-
Talen: Python, kennis van LLM-API's
Veelvoorkomende functietitels
-
AI Engineer
-
Prompt Engineer
-
Machine Learning Engineer
-
Product Manager (AI)
-
Solutions Architect (AI)
-
AI Consultant



