Token (AI)
Een token is de kleinste brok tekst die een taalmodel verwerkt, variërend van een enkele letter of leesteken tot een heel woord.
Een token is de elementaire bouwsteen die een taalmodel gebruikt om menselijke taal te begrijpen en te genereren. Waar mensen denken in complete woorden, zinnen en verhalen, hakt kunstmatige intelligentie elke tekst eerst in stukjes: de tokens. Zo kan één enkel woord bestaan uit één token, maar ook uit meerdere kleine deeltjes, afhankelijk van hoe vaak de lettercombinatie voorkomt in de trainingsdata van het model.
Je kunt tokens zien als de officiële munteenheid van de AI-wereld. Alles wat je naar een AI stuurt (de prompt) en alles wat het model als antwoord teruggeeft, wordt nauwkeurig afgerekend en begrensd in tokens. Zowel het geheugen van een chatbot als de gebruikskosten van een taalmodel hangen direct samen met dit aantal.
Hoe werkt een token in de praktijk?
Wanneer je een vraag invoert, vertaalt het algoritme de letters niet meteen naar logica. Het splitst de tekst eerst op via een proces dat tokenisatie heet. Elk uniek fragment krijgt een vast identificatienummer. Veelvoorkomende woorden in het Engels, zoals the of is, vormen vaak precies één token. Minder courante woorden, leestekens, spaties en cijfers worden daarentegen vaak opgeknipt in kleinere segmenten.
Kijk bijvoorbeeld naar de samenstellingen waar de Nederlandse taal zo bekend om staat. Een woord als bakfietsmoeder of omgevingsvergunning wordt door een taalmodel zelden als één geheel herkend. Het model hakt zo'n woord in logische stukken, bijvoorbeeld bak, fiets en moeder. Daardoor kost hetzelfde concept in het Nederlands vaak aanzienlijk meer tokens dan in het Engels.
Waarom tokens belangrijk zijn voor gebruikers en bedrijven
Tokens bepalen wat een AI-systeem wel en niet kan bolwerken op een bepaald moment. Dit uit zich op drie manieren:
- Het contextvenster: Elk model heeft een limiet voor het aantal tokens dat het tegelijkertijd kan onthouden. Dit heet het contextvenster. Als een gesprek te lang wordt, vergeet de chatbot wat er aan het begin van het gesprek is besproken omdat de oudste tokens simpelweg uit het geheugen vallen.
- Kosten en abonnementen: Wie een zakelijke API-koppeling gebruikt, betaalt rechtstreeks per duizend of per miljoen verwerkte tokens, uitgesplitst in invoer en uitvoer.
- Verwerkingssnelheid: Hoe meer tokens een model moet genereren, hoe langer het duurt voordat de volledige reactie op je scherm verschijnt.
Een lokaal voorbeeld: de Vlaamse of Nederlandse ondernemer
Stel dat een administratiekantoor in Zwolle of een advocatenkantoor in Leuven AI inzet om inkomende e-mails van cliënten automatisch samen te vatten. Een cliënt stuurt een lange uiteenzetting over een geschil rond een huurcontract, inclusief bijlagen en eerdere correspondentie. De medewerker plakt een tekst van 4.000 woorden in het venster.
Als het kantoor rekent in traditionele woorden, lijkt dit document prima hanteerbaar. In tokens gerekend kan deze tekst inclusief speciale tekens, wetsartikelen en typisch ambtelijk taalgebruik echter oplopen tot wel 6.000 tokens. Bij het opstellen van een uitgebreide reactie verbruikt de software opnieuw duizenden tokens. Begrijpen hoe tokens werken voorkomt hier dat de tekst plotseling wordt afgekapt halverwege de juridische conclusie.
Hoeveel woorden is één token precies?
Als vuistregel geldt voor de Engelse taal dat 1.000 tokens overeenkomen met ongeveer 750 woorden. Voor het Nederlands ligt deze verhouding echter anders. Vanwege onze complexe werkwoordvervoegingen, meervoudsvormen en lange samenstellingen levert een Nederlandse tekst doorgaans meer tokens op voor hetzelfde aantal woorden.
In het Nederlands staat 1.000 woorden gemiddeld gelijk aan 1.300 tot 1.600 tokens. Dit betekent dat je bij Nederlandstalige teksten sneller tegen limieten aanloopt dan bij Engelstalige teksten van exact dezelfde lengte.
Veelgemaakte denkfout: tokens verwarren met karakters
Een veelvoorkomende fout is het idee dat een token gelijkstaat aan een lettergreep of een vast aantal karakters. Soms kan een enkele spatie of een emoji al een volwaardig token zijn, terwijl een cijferreeks van vier getallen uit wel drie losse tokens kan bestaan. Wie prompts optimaliseert, doet er dan ook verstandig aan om overbodige opmaak, herhalende beleefdheidsvormen en nodeloze leestekens te schrappen om binnen het gewenste budget te blijven.
Veelgestelde vragen
Hoeveel woorden is 1 token in ChatGPT?
Gemiddeld staat 1 token gelijk aan ongeveer 0,75 Engels woord. In het Nederlands is dat minder: reken op ongeveer 0,6 tot 0,7 woord per token, omdat Nederlandse woorden vaker in meerdere delen worden gesplitst.
Waarom telt AI in tokens en niet gewoon in woorden?
Woorden variëren enorm per taal en grammatica. Door teksten op te knippen in universele, statistisch voorspelbare subfragmenten kan een computermodel wiskundig veel efficiënter patronen en betekenissen herkennen.
Wat gebeurt er als mijn prompt te veel tokens bevat?
Als je prompt groter is dan het contextvenster van het model, krijg je een foutmelding dat het bericht te lang is, of negeert het systeem simpelweg de oudste informatie uit het gesprek.
Tellen spaties en leestekens ook mee als tokens?
Ja, spaties, komma's, uitroeptekens en zelfs regeleindes worden door taalmodellen als afzonderlijke tokens verwerkt of aan nabijgelegen letters gekoppeld.
