Przejdź do treści
promptowy.com / KI-ordbok / Tokenisering
Teknologi

Tokenisering

Tokenisering er prosessen der kunstig intelligens deler opp vanlig tekst i mindre biter, kalt tokens, før modellen kan analysere eller generere innhold.

Tokenisering er prosessen der en språkmodell deler opp sammenhengende tekst i mindre enheter, kalt tokens, før informasjonen behandles matematisk. En datamaskin kan ikke lese ord og setninger slik et menneske gjør, og den må derfor oversette tegn og ordsekvenser til tallverdier. Tokenisering fungerer som bindeleddet mellom vanlig menneskelig språk og de matematiske beregningene i maskinlæringsmodellen.

Hvert token kan representere et helt ord, en del av et ord, et enkelt tegn eller et mellomrom. Hvilke biter teksten deles inn i, avgjøres av et fast ordforråd som modellen lærte under opplæringsfasen. Forståelse av tokenisering gjør det lettere å forstå hvorfor generative språkmodeller noen ganger oppfører seg rart, og hvordan du formulerer mer presise og rimelige instruksjoner.

Hvordan fungerer tokenisering under panseret?

Før treningen av en stor språkmodell begynner, bygger utviklerne en ordliste basert på milliarder av tekstlinjer. Vanlige ord som forekommer hyppig i treningsdataene, får ofte tildelt sitt eget unike token. Ord som dukker opp sjeldnere, eller ord som modellen aldri har sett før, blir brutt ned i mindre biter og stavelser. I verste fall må modellen dele et ukjent ord opp i enkeltbokstaver.

Når du sender en forespørsel til en modell, skjer følgende trinn automatisk:

  • Tekstrensing: Modellen mottar råteksten din nøyaktig slik den er skrevet, inkludert linjeskift, spesialtegn og mellomrom.
  • Oppdeling: En algoritme deler teksten opp i biter basert på modellens forhåndsdefinerte ordliste.
  • Indeksering: Hvert token oversettes til en unik tallverdi i en database.
  • Beregning: Modellen regner ut sannsynligheten for hvilke nye tall, og dermed tokens, som skal genereres som svar.
  • Avkoding: Tallene oversettes tilbake til lesbare tegn og settes sammen til en ferdig tekst.

Hvorfor norske ord ofte koster mer

Fordi de fleste store språkmodeller hovedsakelig trenes på engelskspråklig materiale, er ordlistene deres optimalisert for engelsk grammatikk og vanlige engelske ord. Engelsk tekst krever derfor ofte bare ett token per ord. Norsk tekst byr derimot på to utfordringer: særnorske bokstaver og lange, sammensatte ord.

Tenk deg en lokal fiskehandler i Tromsø som ber en språkmodell om hjelp til markedsføring av skreimøljeoppskrift. På engelsk ville en tilsvarende rett kanskje bestått av tre korte ord, der hvert ord tilsvarer ett token. På norsk vil det sammensatte ordet ofte bli kuttet opp i fire eller fem mindre biter fordi modellen sjelden har sett ordet i sin helhet. Spesialtegn som æ, ø og å kan også i noen tilfeller kreve egne delte tegnkoder. Dette betyr at en norsk setning nesten alltid krever flere tokens enn den samme setningen på engelsk, noe som påvirker både responstid og brukskostnader.

Hvorfor modeller sliter med å telle bokstaver

En av de mest kjente svakhetene ved dagens språkmodeller er at de har problemer med å svare riktig på spørsmål som: Hvor mange bokstaver finnes i ordet Stavanger? Årsaken ligger direkte i tokeniseringen.

Modellen ser aldri bokstavene s, t, a, v, a, n, g, e og r hver for seg. Den ser bare et enkelt tall som representerer hele ordet som én samlet blokk. Å be en modell telle bokstaver i et kjent ord tilsvarer å be et menneske gjette vekten på en uåpnet pakke uten å se hva som er inni. Først når du tvinger modellen til å dele opp ordet, for eksempel ved å be den skrive ordet med bindestrek mellom hver bokstav, klarer den å behandle tegnene individuelt.

Enkle grep for å optimalisere tekst

En vanlig feil er å fylle ledetekster med unødvendig fyllord, overdreven høflighet eller rotete formatering. Siden hver eneste bokstav, kommafeil og mellomrom gjøres om til tokens, fyller unødvendig tekst opp modellens tilgjengelige minne.

Skrivefeil er en annen kilde til ineffektivitet. Hvis en regnskapsfører i Bergen skriver fakturaoppfølging feil som fakturapoppfølging, gjenkjenner ikke modellen ordet. Den tvinges til å dele det opp i unaturlig mange småbiter, noe som både koster unødvendig kapasitet og øker risikoen for at modellen misforstår konteksten. Et rent, presist og rettskrevet språk gir derfor best resultat.

Ofte stilte spørsmål

Er et token det samme som et ord?

Nei, et token kan være et helt ord, men det kan også være en stavelse, et enkelt tegn eller bare et mellomrom. På engelsk tilsvarer et token omtrent fire tegn eller tre fjerdedeler av et ord, mens det på norsk ofte kreves flere tokens per ord.

Hvorfor koster norsk tekst mer å behandle enn engelsk i språkmodeller?

Språkmodeller trenes mest på engelsk og har ordlister tilpasset engelske ord. Norske ord, spesielt lange sammensatte ord og ord med særnorske bokstaver, må derfor ofte deles opp i flere mindre biter, noe som gir et høyere totalt antall tokens for samme meningsinnhold.

Hvordan påvirker skrivefeil tokeniseringen?

Når et ord er stavet feil, finnes det sjelden i modellens ordliste. Modellen må da dele ordet opp i mange små enkeltbiter eller enkeltbokstaver, noe som bruker unødvendig mye plass i kontekstvinduet og kan redusere forståelsen.

Hvorfor kan ikke en språkmodell telle bokstaver i et ord?

Språkmodellen ser vanlige ord som ferdige tallkoder og ikke som en rekke individuelle bokstaver. Uten ekstra instruksjoner har den ikke direkte innsyn i hvordan ordet er bygget opp bokstav for bokstav.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›