Token (AI)
En token är den grundläggande byggstenen i en språkmodell, ofta bestående av ett helt ord, en del av ett ord eller enstaka tecken.
En token är den minsta textenhet som en modern språkmodell läser, analyserar och skapar. När du skriver ett meddelande till en AI ser modellen inte bokstäver eller hela meningar på samma sätt som en människa gör, utan delar istället upp texten i små numeriska fragment. Dessa fragment kallas för tokens och motsvarar ofta ett ord, en del av ett ord, ett skiljetecken eller ibland bara ett enstaka tecken.
Inom artificiell intelligens fungerar tokens som en universell valuta. Det är i tokens man mäter hur mycket text en modell kan hålla i huvudet samtidigt (det så kallade kontextfönstret), hur långa svar den kan generera och vad det kostar för utvecklare att skicka data via ett programmeringsgränssnitt. När ett AI-verktyg signalerar att en text är för lång beror det inte på antalet tecken på skärmen, utan på att det sammanlagda antalet tokens har passerat modellens kapacitetsgräns.
Hur fungerar uppdelningen i tokens?
Processen att dela upp vanlig text i dessa mindre bitar kallas för tokenisering. Språkmodeller använder särskilda uppslagsverk där varje unik token har ett eget identifikationsnummer. När du skickar en fråga översätts din text först till en lång rad siffror, som modellen räknar på, varpå svaret omvandlas tillbaka till vanlig text.
Hur en text delas upp beror på hur vanlig en viss bokstavskombination är i modellens träningsmaterial. Mycket vanliga ord på engelska, som till exempel the, and eller is, motsvarar ofta exakt en enda token. Mer ovanliga ord, specialtecken eller ord på mindre språk kapas istället upp i flera mindre bitar för att spara utrymme i modellens interna ordlista.
Svenska språket, sammansättningar och specialtecken
För användare i Sverige har tokens en direkt märkbar effekt. Det svenska språket är rikt på långa sammansatta ord, och bokstäverna å, ä och ö hanteras annorlunda än vanliga latinska tecken. Eftersom språkmodeller i huvudsak tränas på engelsk text känner algoritmerna inte alltid igen svenska ord som helheter.
Tänk dig en lokal snickerifirma i Mora som vill använda AI för att granska ett dokument om fastighetsförvaltning eller hantverkartjänster. På engelska kan ett begrepp som property management ofta rymmas inom två enkla tokens. Det svenska ordet fastighetsförvaltning delas däremot ofta upp i tre eller fyra separata delar, till exempel fastig, hets, för och valtning. Även våra svenska vokaler med prickar och ringar kan ibland kräva extra tokens om modellen bryter ned dem på teckennivå. Detta innebär att en svensk text generellt förbrukar fler tokens än motsvarande engelska text med samma innehåll.
Varför tokens spelar roll i vardagen
Oavsett om du använder AI för att sammanfatta kommunala protokoll i Linköping eller för att bygga en kundtjänstbot till en e-handel i Borås är förståelsen för tokens avgörande. Antalet tokens sätter ramarna för flera viktiga funktioner:
- Minnesgräns: En AI har ett begränsat arbetsminne per konversation. Både dina instruktioner, bakgrundsmaterialet du laddar upp och modellens egna svar räknas in i samma gemensamma tokenpott.
- Prissättning: För företag som bygger egna lösningar debiteras användningen per volym, oftast beräknat per miljon inkommande och utgående tokens.
- Kvalitet på svaren: Om en text närmar sig gränsen för vad modellen klarar av kan den börja glömma instruktioner som gavs i början av samtalet.
Vanliga missförstånd
Ett mycket vanligt misstag är att likställa en token med ett skrivet ord. En tumregel för engelsk text är att 1 000 tokens motsvarar ungefär 750 ord, men för svensk text är den siffran ofta lägre, ibland närmare 500 till 600 ord på grund av böjningsformer och sammansättningar.
Ett annat missförstånd är att tro att mellanslag, tabulatorer och radbrytningar är gratis. I själva verket bakas mellanslag ofta in i början av en token eller räknas som separata enheter om formateringen är ovanlig. Även programkod och tabeller tenderar att sluka betydligt fler tokens än löpande text, eftersom indenteringar och specialtecken bryts upp i väldigt korta sekvenser.
Vanliga frågor
Hur många ord motsvarar en token på svenska?
Som en grov uppskattning brukar ett svenskt ord motsvara mellan 1,3 och 2 tokens, beroende på hur långt och sammansatt ordet är samt förekomsten av å, ä och ö.
Varför är svenska texter dyrare att köra i AI än engelska?
Eftersom AI-modeller har mindre svensk träningsdata delas svenska ord upp i fler småbitar, vilket gör att samma budskap kräver fler tokens och därmed mer datorkraft.
Räknas mellanslag och skiljetecken som tokens?
Ja, skiljetecken som punkter, kommatecken och utropstecken bildar oftast egna tokens, och mellanslag ingår vanligtvis som en del av nästkommande ords token.
Vad innebär input- och output-tokens?
Input-tokens är den text du skickar in till modellen, inklusive eventuella instruktioner. Output-tokens är den text som modellen genererar tillbaka till dig som svar.
