Upotus (embedding)
Upotus tarkoittaa tekstin tai muun tiedon muuttamista lukujonoksi siten, että samankaltaiset merkitykset asettuvat matemaattisesti lähelle toisiaan.
Upotus, josta käytetään usein englanninkielistä nimeä embedding tai termiä vektoriupotus, tarkoittaa menetelmää, jossa sana, lause tai jopa kokonainen asiakirja muunnetaan pitkäksi numerosarjaksi eli vektoriksi. Tämän muunnoksen ansiosta tietokone voi käsitellä ihmiskieltä matemaattisesti. Tärkein ominaisuus on se, että käsitteet, joilla on samankaltainen merkitys, saavat toisiaan muistuttavat lukujonot.
Tietokoneet eivät ymmärrä sanoja tunnetasolla tai ajatuksina, vaan ne laskevat suhteita numeroilla. Perinteinen haku etsii samoja kirjaimia ja merkkijonoja, mutta upotukset avaavat oven semanttiseen ymmärrykseen. Esimerkiksi sanat "koira" ja "hauva" sijoittuvat upotusavaruudessa aivan vierekkäin, vaikka niissä ei ole yhtään samaa kirjainta. Vastaavasti sanat "koira" ja "patteri" päätyvät kauas toisistaan.
Miten vektoriupotus toimii käytännössä?
Kun tekoälymallille syötetään tekstiä, erillinen upotusmalli analysoi sen asiayhteyden ja kääntää sen satojen tai tuhansien lukujen listaksi. Jokainen luku edustaa tiettyä merkitysulottuvuutta moniulotteisessa avaruudessa. Yksittäistä lukua ei voi suoraan kääntää vaikkapa sanaksi "karvaisuus" tai "lämpötila", mutta kokonaisuutena luvut muodostavat sanan tarkan merkityskoordinaatin.
Kun kaksi eri tekstiä on muutettu vektoreiksi, tekoäly voi laskea niiden välistä etäisyyttä ja kulmaa. Yleisin mittari on kosinietäisyys, joka kertoo kuinka samansuuntaisia kaksi vektoria ovat. Mitä pienempi kulma vektorien välillä on, sitä lähempänä tekstien merkitykset ovat toisiaan riippumatta käytetystä sanamuodosta tai kieliopillisesta taivutuksesta.
Käytännön esimerkki: Suomalainen retkeilykauppa
Kuvitellaan tamperelainen ulkoilutarvikkeita myyvä verkkokauppa. Asiakas saapuu sivustolle ja kirjoittaa hakukenttään lauseen: "millä pysyy lämpimänä makuupussissa syysmyrskyssä".
- Perinteinen avainsanahaku: Etsii tuotekuvauksista tarkkoja sanoja "lämpimänä", "syysmyrskyssä" tai "pysyy". Jos tuotteen otsikko on pelkästään "Untuvainen makuualusta talviolosuhteisiin", haku ei välttämättä löydä sitä lainkaan, koska hakusanat eivät täsmää.
- Upotukseen perustuva haku: Upotusmalli muuntaa asiakkaan kysymyksen vektoriksi. Se huomaa välittömästi, että kysymys liittyy lämpöeristykseen ja maasta hohkaavaan kylmyyteen retkeillessä. Järjestelmä löytää osuvimmat tuotteet, kuten eristävät makuualustat ja lämpöpussit, vaikka tuoteselosteissa puhuttaisiin teknisistä R-arvoista eikä syysmyrskystä sanallakaan.
Mihin kaikkeen upotuksia käytetään?
Upotukset ovat modernin kieliteknologian kivijalka, ja ne mahdollistavat monia tuttuja tekoälytoimintoja:
- RAG-järjestelmät (Retrieval-Augmented Generation): Kun yritys rakentaa omaa asiakaspalvelubottia, yrityksen tukisivut ja ohjeet muutetaan upotuksiksi vektoritietokantaan. Kun asiakas kysyy neuvoa, järjestelmä etsii upotusten avulla tekstistä tarkat kohdat ja antaa ne tekoälylle vastauksen pohjaksi.
- Suosittelujärjestelmät: Kirjastot tai suoratoistopalvelut voivat suositella uutta sisältöä vertaamalla kirjojen tai elokuvien kuvauksista tehtyjä upotuksia toisiinsa. Jos pidit yhdestä tietokirjasta, saat ehdotuksia samankaltaisista aiheista.
- Kaksoiskappaleiden ja roskapostin tunnistus: Järjestelmä havaitsee nopeasti, jos keskustelupalstalle lähetetään sama viesti eri sanamuodoilla, sillä niiden upotusvektorit ovat lähes identtisiä.
Yleinen virhe upotusten käytössä
Yleinen harhaluulo on ajatella, että upotus on sama asia kuin valmis vastaus tai tiivistelmä. Upotus ei itsessään luo uutta tekstiä eikä korjaa virheitä, vaan se on ainoastaan merkityksen matemaattinen osoite. Jos käytät heikkoa upotusmallia, joka ei tunne suomen kielen erityispiirteitä tai taivutusmuotoja, vektorit saattavat vääristyä ja hakutuloksista tulee epätarkkoja. Siksi suomalaisissa tietojärjestelmissä kannattaa aina varmistaa, että käytetty malli hallitsee monikielisyyden ja ymmärtää sanojen kontekstit myös suomeksi.
Usein kysytyt kysymykset
Miksi tavallinen avainsanahaku ei enää riitä?
Tavallinen haku nojaa täsmällisiin merkkijonoihin ja epäonnistuu heti, kun käyttäjä kirjoittaa eri synonyymin, taivuttaa sanaa tai tekee kirjoitusvirheen. Upotus vertaa sanojen syvempää merkitystä, jolloin haku toimii luontevasti arkikielellä.
Voiko kuvista tai äänestä tehdä upotuksia?
Kyllä voi. Upotustekniikka toimii myös kuvien, videoiden ja äänen kanssa. Monimalliset järjestelmät voivat jopa asettaa kuvan ja sitä kuvaavan tekstin samaan vektoriavaruuteen, mikä mahdollistaa kuvahaun sanallisilla kuvaushauilla.
Miten upotus liittyy vektoritietokantaan?
Vektoritietokanta on erikoistunut tallentamaan ja järjestelemään juuri näitä suuria numerosarjoja. Se tekee mahdolliseksi etsiä miljoonien tekstinpätkien joukosta ne upotukset, jotka muistuttavat eniten käyttäjän kyselyä vain silmänräpäyksessä.
