Tokenisatie
Tokenisatie is het proces waarbij een AI-taalmodel gewone tekst opknipt in kleinere bouwstenen, zogeheten tokens, om de inhoud wiskundig te verwerken.
Tokenisatie is het proces waarbij een AI-taalmodel geschreven tekst opdeelt in hapklare brokjes die we tokens noemen. Voordat een computermodel een zin kan begrijpen of beantwoorden, moet menselijke taal worden omgezet in getallen. Tokenisatie vormt de allereerste stap in die vertaalslag: de computer leest geen letters of complete zinnen zoals wij, maar verwerkt reeksen afzonderlijke tokens.
Deze tokens kunnen hele woorden zijn, maar net zo goed losse lettergrepen, losse letters of zelfs spaties en leestekens. Hoe een tekst precies wordt gesplitst, hangt af van het vaste vocabulaire dat het model tijdens zijn trainingsfase heeft opgebouwd. Veelvoorkomende woorden krijgen vaak één eigen token, terwijl zeldzame termen of typfouten uit meerdere stukjes moeten worden samengesteld.
Hoe werkt het opknippen van tekst in de praktijk?
Moderne taalmodellen gebruiken geavanceerde algoritmes voor subwoord-tokenisatie. Het model heeft tijdens de voorbereiding een vaste lijst met tienduizenden veelgebruikte tekstdelen samengesteld. Komt het model een woord tegen dat het goed kent, dan gebruikt het één enkel token. Is een woord onbekend of zeldzaam, dan puzzelt het model dit woord bij elkaar met kleinere snippers.
Stel dat een bakkerij in Leuven of een fietsenmaker in Utrecht een geautomatiseerde klantenservice opzet. Een doorsnee Nederlands woord zoals fiets of brood bestaat meestal uit één enkel token. Maar een typisch samengesteld woord, zoals bakfietsventiel of krentenbollenverkoop, wordt door het model opgesplitst in fragmenten als bak, fiets en ventiel. Voor een model dat voornamelijk op Engelse data is getraind, vallen Nederlandse samenstellingen vaak in veel meer stukjes uiteen dan korte Engelse termen.
Waarom taalmodellen soms vreemd reageren
Het fenomeen van tokenisatie verklaart een aantal bekende eigenaardigheden van kunstmatige intelligentie:
- Moeite met letters tellen: Vraag je een AI hoeveel letters 'r' er in het woord aardbei zitten, dan maakt het model regelmatig fouten. Het model ziet namelijk niet de individuele letters, maar alleen het cijfermatige token dat voor het hele woorddeel staat.
- Gevoeligheid voor spelfouten: Een klein tikfoutje verandert een bekend woord in een onbekende tekenreeks. Hierdoor explodeert het aantal benodigde tokens, waardoor het model de context soms minder goed vat.
- Verschillen tussen talen: Omdat veel modellen een Engelstalige trainingsbasis hebben, zijn Engelse zinnen compact getokeniseerd. Een Nederlandstalige tekst kost voor exact dezelfde boodschap vaak dertig tot vijftig procent meer tokens.
- Cijfers en wiskunde: Grote getallen worden vaak op willekeurige plekken in stukjes gehakt, waardoor een model rekenfouten kan maken die voor een mens onlogisch lijken.
Slim omgaan met tokens: minder kosten, meer ruimte
Elk taalmodel heeft een zogeheten contextvenster, een maximale hoeveelheid tokens die het tegelijkertijd kan onthouden en verwerken in een gesprek. Daarnaast rekenen aanbieders van AI-systemen af op basis van het aantal verwerkte tokens, zowel voor wat je invoert als voor wat het model terugstuurt.
Wie prompts schrijft voor professioneel gebruik, doet er goed aan om compact en helder te formuleren. Een overbodige lap tekst vol vage inleidingen, dubbele spaties en ingewikkelde zinnen vult het contextgeheugen onnodig snel op. Door instructies direct, gestructureerd en foutloos te formuleren, blijft er meer ruimte over voor relevante documenten en blijft het gebruik van de AI sneller en voordeliger.
Veelgemaakte denkfout: één token is één woord
De meest gemaakte fout is de aanname dat één token gelijkstaat aan precies één woord. Hoewel dit voor eenvoudige Engelse woordjes vaak toevallig klopt, is dat in de praktijk zelden een vaste wet. In het Nederlands is een token gemiddeld ongeveer vier tekens lang, inclusief spaties.
Wie budgetten berekent of lange teksten wil laten samenvatten, kan dus niet simpelweg de woordenteller van een tekstverwerker gebruiken. Houd er altijd rekening mee dat het aantal tokens in onze taal doorgaans aanzienlijk hoger uitvalt dan het aantal woorden, zeker bij vaktermen, dialectwoorden of lange ambtelijke samenstellingen van lokale overheidsinstanties.
Veelgestelde vragen
Wat is het verschil tussen een token en een woord?
Een woord is een herkenbare taalkundige eenheid voor mensen, terwijl een token een wiskundige bouwsteen voor een computer is. Een kort woord kan één token zijn, maar lange of zeldzame woorden worden opgeknipt in meerdere tokens.
Waarom kost Nederlands meer tokens dan Engels in AI?
De meeste modellen zijn getraind op enorme hoeveelheden Engelstalige tekst, waardoor hun vocabulaire vooral Engelse woorden bevat. Nederlandse woorden en samenstellingen moeten daardoor vaker in losse stukjes worden gehakt.
Kan ik zien hoeveel tokens mijn tekst gebruikt?
Ja, er bestaan online token-tellers en visualisatietools van verschillende AI-ontwikkelaars waarmee je een stuk tekst kunt plakken om precies te zien waar de knipjes vallen.
