Przejdź do treści
promptowy.com / Tekoälysanasto / Multimodaalisuus (multimodaalinen tekoäly)
Perusteet

Multimodaalisuus (multimodaalinen tekoäly)

Multimodaalisuus tarkoittaa tekoälyn kykyä käsitellä ja yhdistää samanaikaisesti useita eri tiedon muotoja, kuten tekstiä, kuvaa, puhetta ja videota.

Multimodaalisuus tarkoittaa tekoälyjärjestelmän kykyä vastaanottaa, ymmärtää ja tuottaa useita erilaisia tiedon esitysmuotoja eli modaliteetteja samanaikaisesti. Perinteinen kielimalli käsittelee ainoastaan kirjoitettua tekstiä, mutta multimodaalinen tekoäly kykenee havainnoimaan maailmaa monipuolisemmin. Se voi tarkastella valokuvaa, kuunnella äänitallennetta, lukea pdf-dokumenttia ja vastata käyttäjälle vaikkapa luonnollisella puheella tai piirtämällä kaavion.

Käytännössä multimodaalisuus tuo tekoälyn huomattavasti lähemmäs ihmisen tapaa hahmottaa ympäristöään. Ihminen ei pelkästään lue sanoja, vaan tulkitsee samalla ilmeitä, äänensävyjä, visuaalisia vihjeitä ja tilannetta kokonaisuutena. Multimodaalinen malli tekee samankaltaista synteesiä yhdistämällä eri aistikanavia vastaavat syötteet yhdeksi johdonmukaiseksi kokonaisuudeksi.

Miten multimodaalinen malli toimii taustalla?

Tekoälyn peruslogiikka nojaa numeerisiin esityksiin eli vektoreihin. Perinteisessä mallissa sanat muunnetaan luvuiksi, joita malli vertailee keskenään. Multimodaalisessa arkkitehtuurissa eri aineistotyypit tuodaan yhteiseen avaruuteen, jossa kuva, ääni ja teksti voivat kohdata toisensa suoraan.

Kun syötät mallille vaikkapa kuvan polkupyörästä ja kysyt siihen liittyvän kysymyksen, järjestelmä ei toimi erillisten työkalujen ketjuna. Se ei ensin yritä kääntää kuvaa sanalliseksi kuvaukseksi ja vasta sitten pohtia vastausta. Sen sijaan mallin neuroverkko käsittelee pikselit ja kysymyksen sanat rinnakkain. Tämän ansiosta se kykenee havaitsemaan yksityiskohtia, joita pelkkä pintapuolinen kuvaus ei paljastaisi: renkaan kuluneisuuden asteen, ketjujen asennon tai rungossa olevan pienen naarmun.

Käytännön esimerkki suomalaisesta arjesta

Multimodaalisen tekoälyn arvo näkyy parhaiten tilanteissa, joissa asioiden selittäminen pelkällä tekstillä olisi hankalaa tai hidasta. Kuvitellaan pirkanmaalainen LVI-asentaja, joka saapuu saneerauskohteeseen Tampereella ja kohtaa vanhan, tuntemattoman lämmitysjärjestelmän venttiilin.

Pelkän tekstin varassa asentajan pitäisi yrittää kuvailla laitteen ulkonäköä, etsiä sarjanumeroa hämärästä kellarista tai etsiä paksua paperikansiota. Multimodaalisen avustajan avulla tilanne ratkeaa toisin:

  • Asentaja ottaa puhelimellaan tarkan kuvan venttiilikokoonpanosta ja sanelee samalla kysymyksen: "Mikä malli tämä on ja mihin suuntaan tätä kuristinta säädetään virtauksen pienentämiseksi?"
  • Malli vertaa kuvan teknisiä piirteitä laitekirjastoihin ja tunnistaa vanhan messinkiventtiilin.
  • Tekoäly vastaa suoraan puheella suomeksi ja ympyröi asentajan näytöllä näkyvään kuvaan oikean säätöruuvin.

Sama periaate toimii oululaisessa taloyhtiössä, jossa asukas voi kuvata rikkoutuneen ulko-oven lukon ja lähettää kuvan huoltoyhtiön järjestelmään, joka arvioi vian laadun ja tilaa suoraan oikean varaosan ilman turhia välikäsiä.

Miten multimodaalisuutta käytetään työssä ja arjessa?

Multimodaalinen tekoäly ei vaadi erillistä ohjelmointiosaamista, vaan se on usein käytettävissä suoraan tavallisissa keskustelupohjaisissa tekoälysovelluksissa. Voit hyödyntää sitä monilla eri tavoilla:

  1. Monimutkaisten kaavioiden tulkinta: Voit ladata järjestelmään kuvan tilastollisesta graafista tai tuloslaskelmasta ja pyytää sitä etsimään poikkeamat tai laskemaan lukujen väliset suhteet.
  2. Käsin kirjoitettujen muistiinpanojen purku: Kokouksessa fläppitaululle piirretyt luonnokset ja käsin kirjoitetut ranskalaiset viivat muuttuvat hetkessä jäsennellyksi muistioksi.
  3. Koodin virheenkorjaus kuvakaappauksesta: Sen sijaan että kopioisit pitkiä virheilmoituksia, voit napata suoraan ruutukaappauksen ohjelmointiympäristöstä ja antaa mallin osoittaa korjattava rivi.
  4. Dokumenttien vertailu: Voit näyttää tekoälylle rinnakkain valokuvan valmiista tuotteesta ja sen teknisen piirustuksen havaitaksesi mittapoikkeamat.

Yleinen väärinkäsitys: ketjutus vastaan aito multimodaalisuus

Käyttäjät sekoittavat usein kaksi eri asiaa: työkalujen ketjuttamisen ja aidon multimodaalisuuden. Jos puhelimesi sanelusovellus muuttaa puheesi ensin tekstiksi erillisellä työkalulla, syöttää tämän tekstin tekstipohjaiselle kielimallille ja lukee vastauksen ääneen puhesynteesillä, kyseessä on kolmen erillisen yksimodaalisen järjestelmän putki.

Aidosti multimodaalinen malli sen sijaan käsittelee äänen sävyjä, taukoja, taustamelua tai kuvan visuaalisia suhteita suoraan ilman välikäännöksiä. Se ymmärtää esimerkiksi sen, puhuuko käyttäjä kuiskaten, hätääntyneesti vai vitsaillen, ja osaa sovittaa oman vastauksensa tilanteen vaatimaan sävyyn.

Usein kysytyt kysymykset

Mitä eroa on multimodaalisella ja tavallisella tekoälyllä?

Tavallinen tekoäly keskittyy yleensä vain yhteen aineistotyyppiin, kuten pelkkään tekstiin tai pelkkiin kuviin. Multimodaalinen tekoäly kykenee käsittelemään ja yhdistelemään useita eri muotoja, kuten kuvia, puhetta ja tekstiä samassa yhteydessä.

Tunnistaako multimodaalinen tekoäly suomenkielistä puhetta ja tekstiä?

Kyllä, nykyaikaiset multimodaaliset mallit ymmärtävät hyvin suomea sekä kirjoitettuna että puhuttuna, ja ne kykenevät lukemaan myös suomenkielisiä opasteita, kuitteja ja asiakirjoja kuvista.

Voiko multimodaaliselle mallille syöttää videoita?

Kyllä, monet multimodaaliset mallit osaavat analysoida videota, jolloin ne tulkitsevat samanaikaisesti liikkuvaa kuvaa, ääniraitaa ja videolla näkyviä tekstejä.

← Kaikki tekoälysanaston termit

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›