Tokenisering
Tokenisering er processen, hvor kunstig intelligens opdeler almindelig tekst i mindre bidder, kaldet tokens, så sprogmodeller kan beregne og forstå indholdet.
Tokenisering er den grundlæggende proces, hvor en sprogmodel klipper rå tekst op i mindre bidder, som kaldes tokens. Computere og kunstig intelligens forstår ikke bogstaver eller følelser på samme måde som mennesker; de arbejder udelukkende med tal og matematiske sandsynligheder. Tokenisering fungerer som oversætteren, der forvandler dine skrevne sætninger til en række talværdier, som modellen kan regne på.
Når du indtaster et spørgsmål i en samtalerobot, starter systemet altid med at køre teksten igennem en såkaldt tokenizer. Det er en fast ordbog med titusindvis af tekststumper, som modellen lærte at kende under sin træning. Først når teksten er hakket i passende stykker og tildelt tal-koder, kan modellen begynde at generere et svar.
Hvordan opdeles teksten?
En udbredt misforståelse er, at et token altid svarer til ét helt ord. I praksis kan et token være et helt ord, en stavelse, et enkelt tegn eller blot et mellemrum. Princippet bag opdelingen er baseret på hyppighed:
- Hyppige ord: Meget almindelige ord får ofte deres helt eget token, fordi modellen støder på dem konstant i sine træningsdata.
- Sjældne ord: Mindre udbredte ord, fagudtryk eller lange sammensætninger klippes i mindre bidder (delord), som sættes sammen som byggeklodser.
- Tegn og mellemrum: Kommaer, udråbstegn, linjeskift og mellemrum tæller også med som selvstændige eller integrerede tokens.
Hvis du for eksempel skriver et ord, som modellen aldrig har set før, eller laver en slåfejl, kan modellen ikke genkende ordet som en helhed. Den bliver i stedet nødt til at splitte det op i bittesmå stumper, måske helt ned til de enkelte bogstaver.
Et dansk hverdagseksempel: Bageren i Svendborg
For at forstå mekanikken kan vi tage en lokal virksomhed, for eksempel et traditionelt bageri i Svendborg. Hvis bageren beder en sprogmodel om at skrive en annonce for en kanelsneglestang, møder modellen en typisk dansk udfordring. På engelsk er ord ofte korte og adskilte, mens vi på dansk elsker lange, sammensatte navneord.
Det engelske ord cinnamon udgør måske ét enkelt token. Det danske ord kanelsneglestang vil tokenizeren derimod sandsynligvis dele op i tre eller fire bidder: kanel, snegle og stang. Bagerens tekst fylder derfor målbart flere tokens end den tilsvarende engelske tekst. Det samme gælder, når der skrives om lokale fynske stednavne eller specifikke danske råvarer, som optræder sjældnere i modellens globale træningsmateriale.
Hvorfor sprogmodeller snubler over bogstaver
Måden teksten tokeniseres på, forklarer mange af de pudsige fejl, brugere oplever i hverdagen. Mange undrer sig over, hvorfor en avanceret kunstig intelligens kan have svært ved at svare på, hvor mange gange bogstavet 'e' optræder i et bestemt ord. Svaret ligger i tokeniseringen.
Sprogmodellen ser slet ikke de enkelte bogstaver i et velkendt ord. Den modtager blot ét samlet tal, der repræsenterer hele ordet. Modellen skal derfor gætte sig frem til stavemåden ud fra statistiske sammenhænge i stedet for blot at tælle bogstaverne, som et menneske ville gøre. En minimal ændring i tegnsætning eller en lille stavefejl kan fuldstændigt ændre, hvilke tokens teksten bliver brudt ned til, og det kan ændre modellens ræsonnement.
Gode vaner: Sådan bruger du viden om tokens
Når du arbejder professionelt med sprogmodeller, har mængden af tokens direkte betydning for to ting: hastighed og kapacitet. Hver model har en grænse for, hvor mange tokens den kan huske på én gang (kontekstvinduet), og eksterne tjenester afregner typisk forbrug per tusinde tokens.
- Skriv kort og præcist: Skær unødige høflighedsfraser væk, hvis du bruger modellerne til store mængder dataanalyse. Et rent og direkte sprog sparer tokens.
- Fjern overflødig formatering: Mange gentagne linjeskift, tabulatorer og sære specialtegn sluger tokens uden at tilføre værdi.
- Ret stavefejl i faste prompts: En slåfejl forvandler et almindeligt ord til flere små tokens, hvilket gør behandlingen tungere for modellen.
Typiske fejl ved vurdering af tekststørrelse
En klassisk fejl er at overføre tommelfingerregler direkte fra engelsk til dansk. På engelsk regner man ofte med, at 1.000 ord svarer til cirka 1.300 tokens. På dansk, med vores sammensatte ord og særlige bogstaver som æ, ø og å, kræver den samme mængde tekst ofte en del flere tokens. Hvis du planlægger store automatiserede opgaver for en dansk kommune eller en lokal webshop, skal du derfor altid teste tokenforbruget på reelle danske tekster frem for at stole på engelsk baserede overslag.
Ofte stillede spørgsmål
Er et token det samme som et ord?
Nej, et token svarer sjældent til præcis ét ord på dansk. Korte, almindelige ord kan være ét token, mens længere ord, sammensatte navneord og ord med stavefejl ofte deles op i flere tokens.
Hvorfor bruger dansk tekst flere tokens end engelsk?
De fleste sprogmodeller er overvejende trænet på engelsk tekst, så deres ordbog indeholder færre hele danske ord. Samtidig bruger dansk mange sammensatte ord samt bogstaverne æ, ø og å, som ofte må splittes op i mindre stykker.
Hvorfor kan sprogmodeller have svært ved at tælle bogstaver i et ord?
Fordi modellen læser ordet som et samlet token (et tal) i stedet for en række af individuelle bogstaver. Den skal derfor udlede stavningen indirekte, hvilket ofte fører til tællefejl.
Tæller tegnsætning og mellemrum med som tokens?
Ja, punktummer, kommaer, udråbstegn, mellemrum og linjeskift behandles også som tokens eller som en del af et tilstødende token.
