Tokenisering
Tokenisering är processen där text delas upp i mindre bitar, kallade tokens, så att en språkmodell kan bearbeta informationen matematiskt.
Tokenisering är det grundläggande steget där text delas upp i mindre enheter, så kallade tokens, innan en språkmodell kan förstå och bearbeta informationen. Datorer kan inte läsa ord som vi människor gör. Istället omvandlas varje textstycke till en serie siffror, där varje siffra motsvarar en specifik token ur modellens fasta ordförråd.
Denna process förklarar hur text i AI hanteras i grunden: en token kan vara ett helt ord, en del av ett ord eller till och med ett enskilt skiljetecken eller mellanslag. Hur denna uppdelning sker påverkar allt från modellens snabbhet och kostnad till dess förmåga att stava rätt.
Hur fungerar tokenisering bakom kulisserna?
När en språkmodell tränas byggs ett lexikon upp med tiotusentals fördefinierade textbitar. Vanliga ord som förekommer ofta i träningsmaterialet får ofta en alldeles egen token. Mindre vanliga ord, facktermer eller ord med ovanliga böjningar bryts istället ned i mindre delar, ofta stavelser eller enstaka tecken.
Om du skickar in en mening som innehåller ett stavfel känner modellen inte igen ordet som en helhet. Den tvingas då pussla ihop uttrycket av flera mindre teckenbitar. Det gör att felstavade instruktioner eller ovanliga namn kräver betydligt fler tokens än välskriven, vardaglig text.
Ett svenskt vardagsexempel: Sammansatta ord
Svenska språket bjuder på en särskild utmaning för moderna AI-modeller på grund av våra sammansatta ord. De flesta stora modeller tränas främst på engelsk text, vilket gör att deras ordförråd är optimerat för engelska ordmönster.
Tänk dig en redovisningsbyrå i Jönköping som hanterar dokument åt en lokal bostadsrättsförening. Ordet bostadsrättsförening finns sällan som en enskild token. När texten skickas in till modellen delas den ofta upp i flera segment: bostads, rätts och förening, eller ännu mindre delar om modellen är ovan vid svenska. Ett enkelt engelskt ord som house blir en enda token, medan en svensk sammansättning kan förbruka fyra eller fem stycken. Detta innebär i praktiken att en svensk text nästan alltid förbrukar mer kapacitet i sammanhangsfönstret än en motsvarande engelsk text.
Varför AI har svårt att räkna bokstäver
Många användare förvånas över att kraftfulla modeller kan misslyckas med enkla uppgifter, som att räkna antalet gånger bokstaven s förekommer i ordet smörgåsbord. Orsaken ligger just i tokeniseringen.
Modellen ser inte bokstäverna s-m-ö-r-g-å-s-b-o-r-d när den bearbetar texten. Den ser bara en sifferkod som representerar hela ordet eller dess delar. Eftersom den inte läser bokstav för bokstav utan behandlar block av text måste den gissa eller härleda hur många tecken som döljer sig inuti varje block, vilket ofta leder till märkliga misstag vid ordlekar och rim.
Så optimerar du din text i praktiken
Eftersom kapaciteten i modellernas minne styrs av tokens finns det enkla vanor som gör ditt arbete effektivare och minskar resursåtgången:
- Rensa onödig formatering: Ta bort dubbla radbrytningar, onödiga mellanslag och överflödiga specialtecken som inte tillför sammanhang.
- Skriv korrekt svenska: Undvik slarvfel och onödiga förkortningar. Rättstavade ord hålls ofta ihop till färre tokens än felstavade varianter.
- Håll prompten koncis: Formulera tydliga instruktioner utan att upprepa samma krav flera gånger i olika meningar.
- Dela upp långa dokument: Om du arbetar med protokoll från kommunfullmäktige eller stora rapporter, skicka in ett avsnitt i taget för att inte slå i taket för modellens kontextfönster.
Vanliga misstag vid tokenisering
Ett vanligt misstag är att likställa antal ord med antal tokens. En tumregel för engelska är att 100 ord motsvarar ungefär 130 tokens, men på svenska kan samma antal ord lätt dra iväg till 150 eller 200 tokens beroende på textens komplexitet. Om du bygger integrationer eller automatiserar arbetsflöden bör du därför alltid mäta den faktiska förbrukningen av tokens i stället för att räkna tecken eller ord i dina underlag.
Vanliga frågor
Vad är skillnaden mellan ett ord och en token?
Ett ord är en språklig enhet, medan en token är en matematisk byggsten för modellen. Vanliga ord kan vara en token, medan långa eller ovanliga ord ofta delas upp i två eller flera tokens.
Varför drar svenska mer tokens än engelska?
Eftersom AI-modeller tränas mest på engelska innehåller deras lexikon fler hela engelska ord. Svenska ord, särskilt långa sammansättningar, måste oftare delas upp i mindre bitar.
Varför räknar AI fel på bokstäver i ett ord?
Modellen ser inte enskilda bokstäver direkt. Den ser ordet som en färdig token, en sifferkod, vilket gör det svårt för den att avgöra ordets exakta stavning och teckenlängd.
