Token
Et token er den minste tekstbiten en språkmodell behandler av gangen, og tilsvarer ofte et helt ord, en stavelse eller et tegn.
Et token er den grunnleggende byggeklossen en språkmodell bruker for å lese, analysere og produsere tekst. Når du skriver en melding til en samtalerobot eller sender tekst via et programmeringsgrensesnitt, ser ikke datamaskinen hele setninger slik et menneske gjør. I stedet deler den setningen opp i mindre fragmenter, kalt tokens, som deretter gjøres om til tall før modellen kan regne seg frem til et svar.
Disse tekstbitene kan være et helt ord, en del av et ord, et enkelt tegn eller til og med et mellomrom. Begrepet er sentralt for alle som bruker kunstig intelligens, fordi det fungerer som selve måleenheten for både kapasitet, tekstlengde og brukskostnader.
Hvordan deler AI teksten inn i tokens?
Prosessen der tekst brytes ned til tokens kalles tokenisering. Modellen har en forhåndsdefinert ordbok med titusenvis av faste tekstbiter. Vanlige ord som ofte gjentas i treningsdataene, for eksempel ordet og eller bil, lagres gjerne som ett enkelt token. Sjeldnere ord, fagbegreper eller sammensatte ord må derimot settes sammen av flere mindre biter.
Dette har stor betydning for det norske språket. Norsk er kjent for særpregede bokstaver som æ, ø og å, i tillegg til lange sammensatte ord. Et ord som kommuneadministrasjon vil sjelden finnes som ett enkelt token i modellen. Det blir heller delt opp i flere biter, som kommune, admin og istrasjon. Derfor vil en setning på norsk ofte kreve flere tokens enn en tilsvarende setning på engelsk.
Hvor mange ord er egentlig et token?
Som en grov tommelfingerregel tilsvarer et token omtrent tre fjerdedeler av et engelsk ord, eller rundt fire bokstaver. På norsk er regnestykket litt annerledes på grunn av ordstrukturen. Her vil et token ofte tilsvare mellom to og tre bokstaver i gjennomsnitt, avhengig av hvor formell eller teknisk teksten er.
Hvis en regnskapsfører i Trondheim laster opp et langt referat fra en generalforsamling på 1000 ord, kan dette fort utgjøre mellom 1300 og 1600 tokens for modellen. Det betyr at norske virksomheter må ta høyde for et litt høyere tokenforbruk enn engelskspråklige bedrifter når de planlegger automatisering av dokumenter.
Token som valuta og begrensning
I den praktiske hverdagen fungerer tokens som måleenheten for to avgjørende faktorer:
- Kontekstvindu: Hver modell har et tak på hvor mye informasjon den kan huske samtidig i en samtale. Dette kalles modellens kontekstvindu og måles i tokens. Hvis samtalen overskrider denne grensen, glemmer modellen det som ble sagt først.
- Bruk og kostnad: For utviklere og bedrifter som bygger løsninger via programmeringsgrensesnitt, prises tjenestene per tusen eller per million tokens. Det skilles gjerne mellom inngående tokens, som er teksten du sender inn, og utgående tokens, som er teksten modellen genererer som svar.
- Hastighet: Hvor raskt en modell leverer et svar måles ofte i tokens per sekund. Flere genererte tokens krever mer regnekraft og tar lengre tid.
Når en nettbasert assistent gir deg beskjed om at dokumentet du lastet opp er for stort, handler det ikke om filstørrelsen i megabyte eller antall sider i PDF-dokumentet. Det betyr simpelthen at teksten inneholder for mange tokens for det gjeldende grensesnittet.
En typisk feiloppfatning
En vanlig misforståelse blant nye brukere er å forveksle tokens med tegn eller ord. Hvis du teller antall ord i et tekstdokument på datamaskinen, får du ikke det samme tallet som modellen ser. Både tegnsetting som punktum og komma, linjeskift, tabeller og usynlige formateringskoder forbruker tokens. En enkel tabell med tall og spesialtegn kan dermed spise opp uventet mye av modellens kapasitet, selv om den ser kort ut for det blotte øye.
Ofte stilte spørsmål
Hvor mange ord tilsvarer 1000 tokens på norsk?
På norsk tilsvarer 1000 tokens vanligvis mellom 600 og 750 ord. Norske sammensatte ord og særnorske bokstaver gjør at ord ofte deles i flere deler enn på engelsk.
Teller tegnsetting og mellomrom som egne tokens?
Ja, punktum, komma, linjeskift og ofte mellomrom regnes som egne tokens eller bakes inn som en del av et token sammen med en bokstav.
Hvorfor koster norsk tekst ofte mer enn engelsk i AI-systemer?
Siden de fleste modeller er trent mest på engelsk tekst, har de færre ferdige norske ord i vokabularet sitt. Norske ord deles derfor opp i flere biter, noe som gir et høyere totalt antall tokens for samme mengde innhold.
Hva skjer når en samtale overskrider grensen for tokens?
Når samtalen blir for lang for modellens kapasitet, begynner den å miste sammenhengen. Den vil da glemme instruksjoner eller opplysninger som ble gitt tidlig i dialogen.
