Tokens en context: het werkgeheugen van AI

Twee begrippen kom je overal tegen bij AI: tokens en context. Ze bepalen mede wat een AI kan en wat het kost.

Wat is een token?

Een taalmodel werkt niet met hele woorden, maar met tokens: kleine stukjes tekst, vaak delen van woorden. "Onvoorstelbaar" kan in meerdere tokens uiteenvallen; een spatie of leesteken telt ook mee. Vuistregel: ongeveer 100 tokens per 75 woorden.

Waarom tokens belangrijk zijn

Bijna alle AI-diensten rekenen per token af, zowel voor je invoer als de uitvoer. Wie veel tekst verwerkt, doet er goed aan hierop te letten. Ook limieten worden in tokens uitgedrukt.

Context: het kortetermijngeheugen

Alles wat je in één gesprek meegeeft — je vraag, eerdere berichten, meegestuurde documenten — vormt de context. Het model heeft een maximale contextlengte (het contextvenster). Zit dat vol, dan "vergeet" het model het begin van het gesprek.

Wat dit voor jou betekent

Een groter contextvenster laat je meer informatie tegelijk meegeven — handig voor lange documenten. Maar het model onthoudt niets tussen losse gesprekken door: elke sessie begint met een schone lei, tenzij je bewust geheugen toevoegt.