Przejdź do treści
promptowy.com / Tekoälysanasto / Inferenssi (inference)
Teknologia

Inferenssi (inference)

Inferenssi tarkoittaa valmiiksi opetetun tekoälymallin käyttämistä käytännössä, kun se käsittelee syötteen ja luo uutta vastausta.

Tekoälyn inferenssi (englanniksi inference, joskus suomeksi päättely tai soveltaminen) tarkoittaa vaihetta, jossa valmiiksi koulutettu malli otetaan käyttöön ja se tekee varsinaista työtään. Kun kirjoitat kehotteen tekoälylle ja järjestelmä tuottaa sinulle vastauksen, kyseessä on inferenssitapahtuma. Malli ei tässä hetkessä enää opiskele maailmaa uusiksi, vaan se soveltaa aiemmin oppimaansa tietoa saamansa syötteen ratkaisemiseen.

Kielimalleissa inferenssi näkyy käytännössä siten, että järjestelmä ennustaa tekstin seuraavaa palasta eli tokenia yksi kerrallaan. Jokainen uusi kirjainpari, sana tai välimerkki syntyy monimutkaisten todennäköisyyslaskelmien tuloksena, joiden pohjalta lause muodostuu sujuvaksi kokonaisuudeksi suoraan ruudulle.

Koulutus vastaan inferenssi: kaksi täysin eri vaihetta

Tekoälyn elinkaari jaetaan kahteen selkeään päävaiheeseen: koulutukseen ja inferenssiin. Näiden kahden erottaminen on olennaista tekoälyn teknisen toiminnan ja kulurakenteen ymmärtämiseksi.

Koulutus (training) tapahtuu ensin. Siinä mallille syötetään valtavat määrät tekstiä, koodia tai kuvia viikkojen tai kuukausien ajan massiivisissa laskentakeskuksissa. Tämä vaihe vaatii valtavasti sähköä ja järeää laitteistoa, mutta se tehdään vain kerran yhtä malliversiota kohden. Koulutusta voi verrata lääkärin tai asianajajan monivuotiseen yliopistokoulutukseen.

Inferenssi puolestaan vastaa sitä hetkeä, kun valmistunut ammattilainen vastaanottaa asiakkaan ja antaa asiantuntija-arvion. Se on jokapäiväistä rutiinityötä. Aina kun kysyt tekoälyltä neuvoa, käännät tekstiä tai luot kuvan, käynnistät inferenssilaskennan. Vaikka yksittäinen kysymys vaatii vain pienen murto-osan yhden tietokoneen tehosta, miljoonat yhtäaikaiset käyttäjät tekevät inferenssistä jatkuvaa ja resurssiintensiivistä toimintaa.

Miten inferenssi näkyy suomalaisessa arjessa?

Inferenssi ei ole pelkkää koodia palvelinsaleissa, vaan se pyörii huomaamatta taustalla lukuisissa kotimaisissa palveluissa. Kuvitellaan esimerkiksi tamperelainen tilitoimisto tai Kuopiossa toimiva polkupyörähuolto, joka on ottanut verkkosivuilleen asiakaspalvelurobotin helpottamaan ruuhkahuippuja.

Kun oululainen asiakas kirjoittaa huollon verkkosivuille perjantai-iltana viestin ja tiedustelee sähköpyörän akun talvisäilytystä, tapahtuu seuraavaa:

  • Verkkopalvelu vastaanottaa asiakkaan kirjoittaman tekstin ja lähettää sen valmiille tekoälymallille.
  • Malli suorittaa inferenssin: se analysoi kysymyksen merkityksen ja alkaa muodostaa vastausta oman koulutuksensa ja yrityksen ohjeistuksen perusteella.
  • Vastaus virtaa asiakkaan näytölle sana sanalta lähes välittömästi, vaikka ihmistyöntekijät ovat jo viikonlopun vietossa.

Tämä reaaliaikainen tekstin virtaaminen ruudulle on niin sanottua suoratoistoinferenssiä (streaming). Käyttäjän ei tarvitse odottaa koko vastauksen valmistumista kerralla, vaan malli palauttaa laskentatuloksia heti sitä mukaa kun ne valmistuvat prosessorilta.

Miksi inferenssi muodostaa tekoälyn suurimmat kustannukset?

Vaikka mallin opettaminen maksaa kerralla suuren summan, tekoälypalvelujen pitkäaikaisista kustannuksista suurin osa syntyy nimenomaan inferenssistä. Jos suositulla palvelulla on satoja miljoonia käyttäjiä ympäri maailmaa, palvelimet joutuvat tekemään miljardeja monimutkaisia matriisilaskutoimituksia joka ikinen sekunti.

Tämän vuoksi tekoälyalan kehittäjät käyttävät paljon aikaa inferenssin tehostamiseen. Yleisiä tapoja vähentää laskentakuormaa ovat muun muassa:

  1. Kvantisointi (quantization): Mallin parametrien matemaattista tarkkuutta pienennetään hieman, jolloin malli mahtuu pienempään muistiin ja laskenta nopeutuu ilman, että vastauksen laatu kärsii merkittävästi.
  2. Erikoistunut laitteisto: Tavallisten tietokoneprosessorien sijaan käytetään erikoistuneita grafiikkaprosessoreita ja tekoälykiihdyttimiä (NPU), jotka on suunniteltu nimenomaan rinnakkaiseen todennäköisyyslaskentaan.
  3. Älykkäät arkkitehtuurit: Malli saatetaan jakaa pienempiin asiantuntijaosiin (Mixture of Experts), jolloin jokaiseen kysymykseen aktivoidaan vain tarvittava osa verkosta koko laajan koneiston sijaan.

Yleinen virhekäsitys: oppiiko malli inferenssin aikana?

Yleisin inferenssiin liittyvä väärinkäsitys on ajatus siitä, että tekoälymalli oppisi ja muistaisi automaattisesti kaiken, mitä sille inferenssin aikana kerrotaan. Tavallinen inferenssi on kuitenkin luonteeltaan lukutilaa: malli käsittelee syötteen, tuottaa vastauksen ja unohtaa tilanteen heti keskustelun päätyttyä. Sen sisäiset painoarvot eivät muutu kysymysten myötä. Jos halutaan, että malli oppii pysyvästi uusia asioita, se vaatii erillisen uudelleenkoulutuksen tai hienosäädön (fine-tuning).

Usein kysytyt kysymykset

Mitä sana inference tarkoittaa suomeksi?

Tekoälyn yhteydessä se suomennetaan usein päättelyksi, soveltamiseksi tai suoritusvaiheeksi. Alalla käytetään yleisesti myös suoraa lainasanaa inferenssi.

Voiko inferenssiä ajaa omalla tietokoneella ilman nettiyhteyttä?

Kyllä voi. Kun lataat valmiiksi opetetun ja sopivan kokoisen kielimallin omalle laitteellesi, tietokoneesi näytönohjain tai prosessori hoitaa inferenssin täysin paikallisesti ilman pilvipalveluita.

Miksi inferenssi tuntuu joskus hitaalta?

Viive johtuu usein palvelimen ruuhkasta, käytettävän mallin valtavasta koosta tai pitkästä syötteestä. Jos mallin täytyy laskea vastaus monimutkaiseen pyyntöön tokeni kerrallaan täydellä kuormalla, vastausaika pitenee.

← Kaikki tekoälysanaston termit

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›