Wat is een contextvenster?
Het werkgeheugen van een model
Het contextvenster is alles wat een model op één moment kan zien: jouw vraag, het eerdere gesprek, de bestanden die je meestuurt en het antwoord dat het aan het schrijven is. Alles bij elkaar. Wat er niet in past, bestaat voor het model simpelweg niet.
De omvang wordt uitgedrukt in tokens, stukjes tekst van gemiddeld drie tot vier letters. Een venster van 200.000 tokens komt ruwweg overeen met 150.000 woorden, oftewel een flink boek.
Waarom het uitmaakt
Dit is in de praktijk de meest voelbare grens. Een contract van driehonderd pagina's laten analyseren lukt alleen als het erin past. Een gesprek dat urenlang doorloopt, verliest op enig moment het begin. En hoe voller het venster, hoe duurder en trager elke vraag wordt — je betaalt per token, elke keer opnieuw.
Wat er gebeurt als het vol is
Twee dingen, afhankelijk van het programma. Sommige knippen het oudste deel van het gesprek weg, waardoor het model dingen "vergeet" die je eerder zei. Andere weigeren en geven een foutmelding. Het eerste is verraderlijker, want je merkt het pas als het antwoord ineens niet meer klopt met wat je aan het begin had afgesproken.
Groter is niet automatisch beter
Modellen presteren meetbaar slechter op informatie die middenin een heel lang venster staat — het begin en het eind worden beter onthouden dan het midden. Bij zeer lange documenten loont het daarom om zelf het relevante deel te selecteren in plaats van alles erin te gooien. Dat is precies wat RAG doet.
Praktische vuistregels
- Begin een nieuw gesprek als je van onderwerp wisselt; dat is sneller en goedkoper.
- Zet de belangrijkste instructie aan het begin én herhaal hem aan het eind bij lange stukken.
- Bij grote documentverzamelingen: zoek eerst, stuur dan alleen het relevante deel mee.