Tokens

Tokens zijn de basiseenheden waarin large language models (LLM's) tekst verwerken en genereren. Voordat een model tekst kan analyseren of produceren, wordt een invoer via een tokenizer opgesplitst in kleinere stukken die kunnen bestaan uit hele woorden, delen van woorden, leestekens, cijfers of zelfs enkele letters, afhankelijk van hoe vaak bepaalde tekenreeksen voorkomen in de trainingsdata. Een veelgebruikte vuistregel is dat één token ongeveer gelijk staat aan vier tekens Engelse tekst, of ruwweg driekwart woord, al varieert dit sterk per taal: talen met samengestelde woorden of minder representatie in trainingsdata, zoals Nederlands, worden vaak in meer tokens opgedeeld dan Engels. Modellen 'begrijpen' en genereren taal niet op basis van hele zinnen of woorden, maar door voorspellingen te doen over de meest waarschijnlijke volgende token gegeven de voorgaande reeks tokens. Het aantal tokens dat een model tegelijk kan verwerken wordt het contextvenster genoemd, en dit bepaalt hoeveel tekst — zoals een lang document, een uitgebreide chatgeschiedenis of code van een heel project — in één keer kan worden meegegeven. Daarnaast vormt het aantal tokens de basis voor de meeste prijsmodellen van AI-providers: zowel invoertokens (de prompt) als uitvoertokens (het gegenereerde antwoord) worden doorgaans apart geteld en in rekening gebracht, waardoor inzicht in tokenverbruik direct samenhangt met de kosten en snelheid van een AI-toepassing.

In Nederland wordt kennis van tokens en tokenisatie beschouwd als een basisvaardigheid voor vrijwel iedereen die professioneel met LLM's werkt, van AI-engineers tot product managers en data scientists. Werkgevers verwachten dat kandidaten begrijpen hoe tokenverbruik de kosten, latency en betrouwbaarheid van een AI-toepassing beïnvloedt, zeker nu bedrijven steeds grotere contextvensters gebruiken voor toepassingen zoals document-analyse, code-assistentie en lange gespreksgeschiedenissen, waardoor tokenkosten een substantiële en goed te onderbouwen post op de IT-begroting zijn geworden. Vacatures voor prompt engineers, AI-architecten en MLOps-specialisten noemen regelmatig expliciete ervaring met het optimaliseren van tokengebruik, bijvoorbeeld door prompts in te korten, context te comprimeren of de juiste modelgrootte te kiezen voor een taak. Ook in Nederlandstalige toepassingen speelt dit onderwerp een rol, omdat de relatief hoge tokenisatiekosten van het Nederlands ten opzichte van het Engels directe gevolgen hebben voor de prestaties en kosten van lokaal ingezette AI-systemen.

• Concepten: Tokenisatie, Contextvenster, Subword-encoding, Vocabulaire, Token-limieten

• Technieken: Prompt-compressie, Context-caching, Chunking van lange documenten, Model- en contextkeuze op basis van taak

• Kostenbeheer: Monitoren van input- en outputtokens, Optimaliseren van prompts voor lagere kosten, Batch- en streaming-strategieën

• Tools & bibliotheken: Tiktoken, Hugging Face Tokenizers, SentencePiece, BPE (Byte Pair Encoding)

• Evaluatie: Meten van tokenverbruik per taak, Latency- en doorvoeranalyse, Vergelijken van modellen op token-efficiëntie

• Talen: Python

• Prompt Engineer

• AI Engineer

• Machine Learning Engineer

• AI Solutions Architect

• MLOps Engineer

• Data Scientist