Tokeni (token)
Tokeni on tekoälyn ja kielimallien perusyksikkö, joka vastaa tyypillisesti yhtä sanaa, sanan osaa tai yksittäistä välimerkkiä.
Tokeni on tekoälyn ja suurten kielimallien käyttämä tekstin perusyksikkö. Kun ihminen lukee tekstiä kokonaisina lauseina ja sanoina, tekoäly pilkkoo tekstin pienemmiksi palasiksi eli tokeneiksi ennen sen käsittelyä. Yksi tokeni voi olla kokonainen lyhyt sana, pitkän sanan osa, tavu, yksittäinen kirjain tai jopa pelkkä välimerkki.
Käytännössä tokenit toimivat tekoälymaailman mittayksikkönä ja valuuttana. Kaikki tekoälyn toiminnot, kuten kehotteen lukeminen, vastauksen luominen, muistin pituus ja ohjelmointirajapintojen käyttökustannukset, lasketaan aina tokeneissa eikä suoraan sanoissa tai merkeissä.
Miten tekstin muuttaminen tokeneiksi toimii?
Tekoälymallit eivät ymmärrä kirjaimia samalla tavalla kuin ihmiset. Ennen kuin malli pystyy käsittelemään syötettä, teksti kulkee prosessin läpi, jota kutsutaan tokenisoinniksi. Tässä vaiheessa sanat jaetaan osiin mallin oman sanaston perusteella.
Englanninkielisessä tekstissä nyrkkisääntönä pidetään usein sitä, että yksi sana vastaa noin 1,3 tokenia. Esimerkiksi tutut ja yleiset sanat muodostavat usein yhden ainoan tokenin, kun taas harvinaisemmat sanat jaetaan kahteen tai useampaan osaan. Välimerkit, kuten pisteet, pilkut ja huutomerkit, ovat yleensä omia tokeneitaan. Myös tyhjät välilyönnit sanojen edessä lasketaan usein osaksi tokenia.
Miksi suomen kieli kuluttaa enemmän tokeneita?
Suomen kieli on tekoälymalleille erityinen haaste sen rakenteen vuoksi. Suomi on agglutinoiva kieli, jossa sanoja taivutetaan päätteillä ja uusia käsitteitä luodaan liittämällä sanoja yhteen yhdyssanoiksi. Koska suurin osa maailman tekoälymalleista on koulutettu pääosin englanninkielisellä aineistolla, niiden sanastoissa ei ole valmiina suomen kielen pitkiä taivutusmuotoja.
Tämän seurauksena suomenkielinen lause vie usein huomattavasti enemmän tokeneita kuin vastaava ajatus englanniksi ilmaistuna. Tarkastellaan eroja tyypillisten esimerkkien avulla:
- Yhdyssanat: Sana
päärautatieasemavoidaan pilkkoa neljään tai viiteen tokeniin, kutenpää,rauta,tiejaasema. - Runsas taivutus: Sana
kirjastossanikinei löydy mallin sanastosta kokonaisena, joten se pilkotaan osiin kutenkirjasto,ssa,nijakin. - Ääkköset: Kirjaimet ä ja ö saattavat joissakin vanhemmissa järjestelmissä hajota useampaan osaan, mikä kasvattaa tokenien määrää entisestään.
Tämä tarkoittaa käytännössä sitä, että suomenkielisen tekstin käsittely tekoälyllä vie enemmän mallin laskentatehoa ja täyttää käytettävissä olevan tilan nopeammin.
Esimerkki arjesta: Jyväskyläläinen verkkokauppa ja asiakaspalvelubotti
Kuvitellaan tilanne, jossa jyväskyläläinen retkeilyvarusteita myyvä pienyritys haluaa ottaa käyttöön tekoälypohjaisen asiakaspalvelijan verkkosivuillaan. Yrittäjä syöttää botin taustatiedoksi tuotekuvauksia, toimitusehtoja ja tietoa Keski-Suomen retkeilyreiteistä.
Kun asiakas kysyy neuvoa: "Minkälainen makuupussi sopii syysvaellukselle Kolille, jos yöpakkasta on viisi astetta?", tekoäly laskee yhteen:
- Kysymyksen sisältämät tokenit (syöte eli input).
- Yrityksen antamat ohjeet ja tuotetiedot, jotka lähetetään kysymyksen mukana mallille taustaksi.
- Vastauksen tuottamiseen tarvittavat tokenit (tuloste eli output).
Koska suomalaiset ammattisanat, kuten untuvamakuupussi tai mukavuuslämpötila, pilkkoutuvat useaan palaan, yrityksen botin käyttämä tokenimäärä kasvaa ripeämmin kuin vastaavassa englanninkielisessä palvelussa. Yrittäjän on otettava tämä huomioon suunnitellessaan botin muistin pituutta ja arvioidessaan järjestelmän ylläpitokuluja.
Tokenit rajana ja mittapuuna
Tokeneilla mitataan tekoälyssä kahta keskeistä asiaa: konteksti-ikkunaa ja käyttömäärää. Konteksti-ikkuna tarkoittaa sitä tekstimäärää, jonka tekoäly pystyy pitämään mielessään kerrallaan yhden keskustelun aikana. Tähän ikkunaan lasketaan sekä käyttäjän aiemmat viestit että tekoälyn omat vastaukset.
Jos keskustelu venyy liian pitkäksi, vanhimmat viestit alkavat pudota pois ikkunasta, jolloin malli unohtaa keskustelun alun. Jos saat ilmoituksen, että syöttämäsi teksti on liian pitkä, kyse ei ole liiallisesta sanamäärästä vaan siitä, että tokenien enimmäisraja on ylittynyt.
Yleinen virhe: merkkimäärien tuijottaminen
Hyvin tavallinen virhe on olettaa, että tekstinkäsittelyohjelman sanalaskuri tai merkkimäärä kertoisi suoraan tekoälyn resurssinkulutuksen. Tuhat sanaa suomenkielistä tekstiä sisältää huomattavasti enemmän tokeneita kuin tuhat sanaa englantia. Lisäksi erikoismerkit, ohjelmointikoodi ja taulukkomuotoinen tieto voivat kuluttaa tokeneita yllättävän tiheästi. Tekoälytyökaluja rakennettaessa ja käytettäessä kannattaakin aina tarkastella nimenomaan tokenien todellista määrää erillisten laskureiden avulla.
Usein kysytyt kysymykset
Miten voin tarkistaa tekstini tokenimäärän?
Monet tekoälypalvelut tarjoavat verkossa ilmaisia laskurityökaluja (kuten Tokenizer), joihin tekstin voi liittää nähdäkseen tarkan tokenien määrän ja niiden jakautumisen.
Kuinka monta sanaa on tuhat tokenia suomeksi?
Suomen kielessä tuhat tokenia vastaa karkeasti noin 400-600 sanaa riippuen tekstin vaikeudesta, yhdyssanojen määrästä ja lauserakenteista.
Miksi tekoäly unohtaa asioita pitkän keskustelun aikana?
Kielimallilla on rajallinen konteksti-ikkuna, joka mitataan tokeneissa. Kun keskustelun yhteenlaskettu tokenimäärä ylittää tämän rajan, vanhimmat viestit pyyhkiytyvät pois mallin aktiivisesta muistista.
Maksavatko syötetyt ja vastatut tokenit saman verran?
Ohjelmointirajapintojen kautta käytettynä tekoälyn luomat tulostetokenit ovat yleensä selvästi kalliimpia kuin syötetyt tokenit, koska vastauksen generoiminen vaatii mallilta enemmän laskentaa.
