Fine-tuning

Fine-tuning is het proces waarbij een voorgetraind foundation model verder wordt getraind op een kleinere, taakspecifieke dataset om het gedrag, de stijl of de kennis ervan aan te passen voor een specifieke toepassing. In tegenstelling tot Retrieval-Augmented Generation (RAG), dat context levert tijdens inferentie, wijzigt fine-tuning de gewichten van het model — waardoor nieuwe kennis of gedragspatronen effectief direct in het model worden ingebakken. Moderne fine-tuningtechnieken zoals LoRA (Low-Rank Adaptation) en QLoRA maken het mogelijk om grote modellen efficiënt te fine-tunen op een enkele GPU, waardoor de kosten aanzienlijk lager zijn dan bij volledig modeltraining.

Fine-tuning-expertise is sterk gevraagd bij AI-productbedrijven, onderzoekslabs en ondernemingen die domeinspecifiek modelgedrag nodig hebben — zoals een juridische AI die in precieze juridische taal spreekt, of een klantenservicebot getraind op de specifieke toon van een bedrijf. In Nederland groeit de vraag naar fine-tuning engineers in healthcare AI, legal tech en digitaliseringsprojecten bij de overheid, waar kant-en-klare modeluitvoer ontoereikend is.

• Technieken: LoRA, QLoRA, PEFT (Parameter-Efficient Fine-Tuning), Instruction tuning, RLHF

• Frameworks: HuggingFace Transformers, PEFT library, Axolotl, Unsloth, TRL (Transformer Reinforcement Learning)

• Infrastructuur: CUDA / GPU-beheer, Weights & Biases (experimenttracking), Modal, RunPod

• Concepten: Datasetcuratie, Evaluatie & benchmarking, Overfitting voorkomen, Model merging

• Talen: Python

• LLM Fine-tuning Engineer

• ML Engineer (Generative AI)

• AI Research Engineer

• NLP Engineer

• Applied AI Scientist