Tokenisointi (tokenization)
Tokenisointi on kielenkäsittelyn vaihe, jossa teksti pilkotaan tekoälymallille ymmärrettäviksi pieniksi palasiksi eli tokeneiksi.
Tokenisointi tarkoittaa luonnollisen kielen käsittelyssä prosessia, jossa ihmisen kirjoittama teksti pilkotaan pienemmiksi perusyksiköiksi eli tokeneiksi ennen kuin tekoälymalli käsittelee sitä. Tokeni voi olla kokonainen sana, sanan osa tai jopa yksittäinen merkki tai välilyönti. Tekoälymallit eivät lue lauseita tai ymmärrä kirjaimia samalla tavalla kuin ihminen, vaan ne muuttavat nämä tekstinpalaset numeroiksi ennalta määritellyn sanaston pohjalta.
Käytännössä tokenisointi toimii siltana luonnollisen kielen ja matemaattisten kielimallien välillä. Kun syötät kehotteen tekoälylle, mallin tokenisaattori pilkkoo viestisi salamannopeasti, jotta malli voi ennustaa seuraavia loogisia tekstinosia tilastollisen todennäköisyyden avulla.
Miten tokenisointi toimii pinnan alla?
Modernit suuret kielimallit eivät käytä pelkkää sanavälien mukaista jakamista, vaan niin sanottua alisanatason tokenisointia (subword tokenization). Ennen kuin tekoälymallia aletaan kouluttaa valtavalla tekstimassalla, sille rakennetaan kiinteä sanasto, johon mahtuu kymmeniä tai satoja tuhansia usein toistuvia merkkijonoja.
Kun tekstiä tokenisoidaan, algoritmi etsii aina pisimmät mahdolliset sanastostaan löytyvät palaset:
- Yleiset sanat: Usein esiintyvät perussanat, kuten englannin the tai suomen ja, muodostavat yleensä yhden ainoan tokenin.
- Harvinaiset sanat: Vieraat termit, erisnimet tai monimutkaiset käsitteet pilkotaan useampaan palaseen eli tavuihin tai kirjainryhmiin.
- Kirjoitusvirheet ja erikoismerkit: Jos sanassa on lyöntivirhe, malli ei tunnista sitä valmiina kokonaisuutena vaan pilkkoo sen pieniksi kirjainsirpaleiksi.
Suomen kieli ja tokenisoinnin haasteet
Suomen kielen rakenne tekee tokenisoinnista erityisen kiinnostavaa ja usein haastavaa. Koska suomi on synteettinen ja agglutinoiva kieli, sanat taipuvat päätteiden avulla ja yhdyssanoja rakennetaan yhdistämällä useita kantasanoja yhteen pötköön.
Kuvitellaan vaikkapa espoolainen putkialan yritys, joka käyttää tekoälyä asiakaspalvelunsa sähköpostivastausten luonnosteluun. Sana lvi-asennuspalveluistamme ei todennäköisesti löydy minkään mallin sanakirjasta yhtenä valmiina sanana. Tokenisaattori pilkkoo sen useaan osaan, kuten lvi, -, asennus, palvelu ja istamme. Englanninkielinen vastine saattaa viedä huomattavasti vähemmän tokeneita, koska englanti koostuu useammin erillisistä, lyhyistä ja toistuvista sanoista.
Tämä selittää myös sen, miksi kotimaiset paikannimet tai virastojen nimet, kuten Verohallinto tai Lappeenrannassa, vaativat järjestelmältä enemmän laskentapaloja kuin vaikkapa London tai New York.
Miksi tokenisointi vaikuttaa tekoälyn käyttöön?
Tokenisoinnin logiikan ymmärtäminen auttaa hahmottamaan monia tekoälyn omituisuuksia sekä hallitsemaan käytön kustannuksia ja teknisiä rajoja arjessa.
Ensinnäkin kielimallien muistikapasiteetti eli konteksti-ikkuna mitataan aina tokeneina, ei sanoina tai merkkeinä. Jos teksti pilkkoutuu moniin pieniin osiin, mallin muisti täyttyy nopeammin. Samalla useimpien tekoälypalveluiden rajapintojen laskutus perustuu nimenomaan kulutettujen tokenien kokonaismäärään. Monimutkainen, runsaasti harvinaisia taivutusmuotoja sisältävä suomenkielinen teksti maksaa yritykselle hieman enemmän kuin tiivis ja selkeä viestintä.
Tokenisointi selittää myös sen, miksi tekoäly tekee välillä kummallisia virheitä yksinkertaisissa tehtävissä, kuten kirjainten laskemisessa sanan sisällä. Koska malli näkee sanan mansikkahillo usein vain kahtena tai kolmena numerosymbolina (esimerkiksi lohkoina mansikka ja hillo), sillä ei ole suoraa visuaalista näkymää sanan yksittäisiin kirjaimiin.
Näin optimoit tekstin tokenisointia varten
Kun haluat saada tekoälystä parhaan hyödyn irti ja pitää kulut kurissa, pidä mielessä muutama käytännön nyrkkisääntö kehotteiden ja lähdemateriaalien muotoilussa:
- Vältä turhaa toistoa ja ylimääräisiä tyhjiä rivejä: Jokainen välilyönti, rivinvaihto ja piste kuluttaa tokeneita.
- Kirjoita huolellisesti: Vältä tahattomia kirjoitusvirheitä, sillä väärin kirjoitettu sana hajoaa herkästi moninkertaiseksi määräksi tokeneita.
- Karsi monimutkaisia taulukoita ja erikoismerkkejä: Raskaat erikoismerkkijonot kuormittavat tokenisaattoria turhaan verrattuna selkeään tekstiin.
Yleinen harhaluulo: Yksi sana on yksi token
Yleisin virheolettamus on luulla, että token tarkoittaa aina yhtä sanaa. Vaikka englanninkielisessä tekstissä yksi token vastaa karkeasti noin neljää merkkiä tai 0,75 sanaa, suomen kielessä suhdeluku on erilainen. Yksi suomenkielinen sana voi helposti viedä kaksi, kolme tai jopa viisi tokenia riippuen sen pituudesta ja taivutuksesta. Tämän vuoksi suomenkielisen materiaalin laajuutta arvioitaessa kannattaa aina varata enemmän tokenikapasiteettia kuin vastaavan mittaiselle englanninkieliselle tekstille.
Usein kysytyt kysymykset
Miksi suomen kieli kuluttaa enemmän tokeneita kuin englanti?
Suurin osa tekoälymalleista on opetettu pääosin englanninkielisellä aineistolla, jolloin mallin sanasto suosii englannin kielen sanoja. Lisäksi suomen kielen pitkät yhdyssanat ja runsaat taivutuspäätteet pakottavat mallin pilkkomaan sanat useampaan pieneen alisanapalaan.
Miksi tekoäly ei osaa laskea sanan kirjaimia luotettavasti?
Tekoäly ei käsittele tekstiä yksittäisinä kirjaimina vaan tokeneina, jotka edustavat usein kokonaisia sanoja tai tavuja. Siksi mallilla ei ole suoraa näkymää sanan sisäiseen kirjainrakenteeseen ilman erillistä päättelyä.
Miten voin tarkistaa oman tekstini tokenimäärän?
Monet tekoäly-yhtiöt tarjoavat ilmaisia verkkopohjaisia tokenisaattorityökaluja, joihin voi liittää omaa tekstiä. Työkalu värittää eri tokenit ja näyttää tarkan kokonaismäärän valitulle kielimallille.
Vaikuttavatko isot ja pienet kirjaimet tokenien määrään?
Kyllä vaikuttavat. Sana, joka alkaa isolla kirjaimella lauseen alussa, saattaa olla mallille eri token kuin sama sana kokonaan pienillä kirjaimilla kirjoitettuna, jos sanastoon on tallennettu vain toinen muoto.
