Przejdź do treści
promptowy.com / AI-ordbog / Token (i kunstig intelligens)
Teknologi

Token (i kunstig intelligens)

En token er den grundlæggende tekstbid, som en sprogmodel læser og skaber. Den svarer ofte til et helt ord, en del af et ord eller et enkelt tegn.

En token er den grundlæggende dataenhed, som en sprogmodel opdeler tekst i for at kunne læse, forstå og skrive svar. Når du sender en besked til en chatbot som ChatGPT, ser modellen ikke sætninger eller hele afsnit som et menneske gør. I stedet deler den teksten op i mindre bidder, som kaldes tokens. En token kan være et helt ord, en del af et længere ord, et enkelt tegn eller blot et mellemrum.

Tokens fungerer i praksis som valutaen i den moderne AI-verden. Det er antallet af tokens, der afgør, hvor meget tekst en model kan huske ad gangen (kontekstvinduet), hvor hurtigt den svarer, og hvad det koster at bruge dens underliggende systemer via en programmeringsgrænseflade.

Hvordan sprogmodeller opdeler sprog i bidder

Processen, hvor almindelig tekst laves om til tokens, kaldes tokenisering. Modellen bruger en fast ordbog over kendte tekststykker. Meget almindelige ord som og, er eller den udgør som regel én token hver. Længere, sjældnere eller sammensatte ord bliver derimod hugget over i flere bidder.

På engelsk svarer en tommelfingerregel til, at 100 ord cirka bliver til 130-140 tokens. Men fordi modeller ofte er trænet mest på engelsk tekst, behandles andre sprog lidt anderledes:

  • Sammensatte ord: På dansk sætter vi ord sammen i ét, for eksempel cykelreparation eller havnefogedassistent. Hvor engelsk ville skrive to adskilte ord, splitter modellen det danske ord i to, tre eller fire tokens baseret på genkendelige dele.
  • Særlige bogstaver: Danske bogstaver som æ, ø og å kræver i visse ældre systemer flere tegnkoder og kan derfor tælle som mere end én token hver.
  • Tegnsætning og mellemrum: Punktummer, kommaer, udråbstegn og endda linjeskift tæller også med som selvstændige tokens i regnskabet.

Et lokalt eksempel: Webshoppen i Kolding

Forestil dig en lille webshop i Kolding, der sælger håndlavede lædervarer. Ejeren vil bruge kunstig intelligens til automatisk at besvare kundehenvendelser om fragttider og returret. Når en kunde fra Aalborg sender en e-mail med teksten: Hej, hvornår ankommer min nye kortholder? Mvh Søren, bliver denne sætning med det samme oversat til en række tokens.

Ordet Hej bliver måske til én token, mens kortholder kan blive delt op i kort og holder. Navnet Søren kan blive delt op, hvis modellen ikke kender det som et standardord, og kommaet efter Hej får sin helt egen plads. Når svaret sendes tilbage, betaler webshoppen for det samlede antal tokens, som både kundens spørgsmål og modellens svar fylder.

Hvorfor kontekstvinduet måles i tokens

Når et AI-værktøj melder, at en tekst er for lang, handler det aldrig om antallet af anslag, bogstaver eller linjer. Det handler udelukkende om tokens. Hver sprogmodel har en øvre grænse for, hvor mange tokens den kan have i sin arbejdshukommelse på én gang, kendt som kontekstvinduet.

Hvis du uploader et langt referat fra et kommunalbestyrelsesmøde i Silkeborg og beder om en opsummering, skal hele dokumentet plus din instruktion og modellens kommende svar kunne være inden for denne grænse. Overskrides grænsen, glemmer modellen enten starten af teksten eller nægter simpelthen at behandle opgaven.

Typiske misforståelser om tokens

En meget udbredt fejl er at sætte lighedstegn mellem én token og ét ord. Hvis du planlægger et projekt og budgetterer med, at tusind danske ord svarer til tusind tokens, vil du hurtigt løbe ind i problemer. På dansk fylder en tekst ofte 20 til 40 procent flere tokens end en tilsvarende tekst på engelsk, netop på grund af vores morfologi og sammensatte navneord.

En anden misforståelse er, at tomme mellemrum ikke koster noget. Mellemrum før et ord er ofte bygget direkte ind i selve ord-tokenen, men ekstra mellemrum, tabulatorer og mange linjeskift øger det samlede tokenforbrug unødigt.

Ofte stillede spørgsmål

Hvor mange ord svarer en token til?

På engelsk svarer en tommelfingerregel til, at 100 ord svarer til cirka 130-140 tokens. På dansk er tallet ofte højere, så et dansk ord typisk fylder mellem 1,5 og 2 tokens på grund af sammensatte navneord og specialtegn.

Tæller tegnsætning og mellemrum som tokens?

Ja, både kommaer, punktummer, linjeskift og mellemrum registreres som tokens af sprogmodellen og tæller med i det samlede forbrug.

Hvorfor bruger dansk flere tokens end engelsk?

Mange sprogmodeller er overvejende trænet på engelsk tekst, hvilket gør deres ordbog mindre tilpasset nordiske sprog. Derudover deler modellerne danske sammensatte ord som 'folkeskolelærer' op i flere bidder.

Hvad sker der, hvis jeg overskrider modellens token-grænse?

Hvis din tekst overstiger modellens kontekstvindue, vil programmet enten afvise inputtet med en fejlmeddelelse eller tabe den tidligste del af samtalen ud af sin aktive hukommelse.

← Alle begreber i AI-ordbogen

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›