Latenssi (viive)
Latenssi tarkoittaa tekoälyssä viivettä, joka kuluu kehotteen lähettämisestä siihen hetkeen, kun malli aloittaa vastauksen tuottamisen.
Latenssi tarkoittaa tekoälysovelluksissa sitä ajallista viivettä, joka syntyy käyttäjän pyynnön lähettämisen ja järjestelmän ensimmäisen reaktion välillä. Kun kirjoitat kysymyksen keskustelubotille tai sanelet komennon älypuhelimelle, latenssi on se hiljainen hetki, jolloin data matkaa palvelimelle, hermoverkko käsittelee syötettä ja laite valmistelee ensimmäistä vastaussanaa. Teknisissä mittauksissa tätä kutsutaan usein ajaksi ensimmäiseen merkkiin eli niin sanotuksi TTFT-viiveeksi (Time to First Token).
Käyttäjäkokemuksen kannalta latenssi on ratkaiseva tekijä. Se erottaa luontevan, vuorovaikutteisen keskustelun puuduttavasta odottelusta. Vaikka tekoälymallin tuottama teksti olisi sisällöltään virheetöntä, useiden sekuntien viive tekee reaaliaikaisesta yhteistyöstä kankeaa. Toisaalta on tehtäviä, joissa muutama lisäsekunti ei haittaa lainkaan, jos vastineeksi saadaan huomattavasti laadukkaampi lopputulos.
Mistä tekoälyn viive muodostuu?
Tekoälypalveluiden latenssi ei johdu pelkästään hitaasta verkkoyhteydestä, vaan se on monen eri tekijän summa. Kun käyttäjä lähettää syötteen, taustalla tapahtuu useita laskennallisesti raskaita vaiheita ennen kuin ensimmäinenkään kirjain ilmestyy näytölle:
- Verkon siirtoaika: Pyynnön siirtyminen käyttäjän laitteelta pilvipalvelimelle ja tulosten palaaminen takaisin vie aina oman aikansa, erityisesti jos palvelinkeskus sijaitsee eri mantereella.
- Syötteen käsittely ja esilaskenta: Ennen uuden tekstin luomista kielimallin täytyy lukea ja sisäistää koko aiempi keskusteluhistoria ja annettu taustamateriaali. Mitä pidempi kehote on, sitä kauemmin tämän alustavan kontekstin laskeminen kestää.
- Mallin arkkitehtuuri ja koko: Jättimäiset kielimallit vaativat valtavasti laskentatehoa näytönohjaimilta. Pienemmät ja kevyemmät mallit pystyvät reagoimaan murto-osassa siitä ajasta, jonka suuret lippulaivamallit tarvitsevat.
- Palvelimen kuormitus: Jos tuhannet ihmiset käyttävät samaa palvelua yhtä aikaa, pyynnöt voivat joutua hetkelliseen jonoon palvelinkeskuksessa.
- Päättelytila ja pohdinta: Niin sanotut päättelymallit käyttävät sisäistä ajatteluaikaa ennen lopullista vastausta. Ne käyvät läpi vaihtoehtoisia ratkaisupolkuja, mikä nostaa viiveen usein kymmeniin sekunteihin.
Esimerkki arjesta: katsastusasema ja koodarin työpöytä
Ajatellaan tamperelaista autokatsastusasemaa, joka ottaa käyttöön puheella toimivan tekoälyavustajan ajanvarauksiin. Kun asiakas kysyy puhelimessa vapaata aikaa torstai-iltapäivälle, järjestelmän on vastattava lähes välittömästi. Ihmisten välisessä puheessa jo sekunnin tauko tuntuu kiusalliselta hiljaisuudelta, ja kahden sekunnin viive saa soittajan luulemaan, että puhelu katkesi. Tällaisessa puhekäyttöliittymässä matala latenssi on ehdoton elinehto, ja aseman kannattaa valita salamannopea, hieman suppeampi malli monimutkaisen jättimallin sijaan.
Toinen ääripää löytyy saman yrityksen taloushallinnosta. Kun kirjanpitäjä antaa tekoälylle tehtäväksi analysoida koko päättyneen kvartaalin kuitit, kilometrikorvaukset ja tiliotteet, viiveellä ei ole juurikaan väliä. Vaikka malli miettisi vastausta kaksi minuuttia, lopputulos säästää silti tunteja ihmistyötä. Tällöin korkea latenssi hyväksytään mielellään syvällisen analyysin toivossa.
Miten latenssia hallitaan käytännössä?
Sovelluskehittäjät ja yritykset käyttävät useita keinoja latenssin minimoimiseksi. Yleisin ratkaisu on vastauksen suoratoisto (streaming). Sen sijaan, että käyttäjä odottaisi koko vastauksen valmistumista tyhjän ruudun äärellä, tekoäly alkaa näyttää sanoja ruudulla sitä mukaa kuin ne valmistuvat. Tämä ei välttämättä lyhennä kokonaisaikaa, mutta se pienentää koettua viivettä merkittävästi, koska ihminen pääsee lukemaan heti.
Toinen suosittu tapa on ketjuttaa eri malleja. Esimerkiksi oululainen ohjelmistoyritys voi käyttää koodin täydennyksessä erittäin pientä ja nopeaa mallia, joka ehdottaa seuraavaa koodiriviä kymmenissä millisekunneissa ilman, että ohjelmoijan ajatus katkeaa. Jos koodari sen sijaan pyytää laajempaa arkkitehtuurisuunnitelmaa, pyyntö ohjataan hitaammalle mutta huomattavasti kyvykkäämmälle päättelymallille.
Yleinen virhekäsitys: läpimeno vastaan latenssi
Yleinen virhe on sekoittaa latenssi ja tekstintuotantonopeus keskenään. Tekstintuotantonopeus tarkoittaa sitä, kuinka monta sanaa tai merkkiä tekoäly sylkee ulos sekunnissa sen jälkeen, kun se on päässyt vauhtiin. Malli voi olla erittäin nopea kirjoittamaan, mutta jos se miettii aloitusta kymmenen sekuntia, sen latenssi on silti korkea. Reaaliaikaisissa sovelluksissa nopea aloitus on usein tärkeämpää kuin se, kuinka salamannopeasti lopputeksti vyöryy ruudulle.
Usein kysytyt kysymykset
Mitä TTFT tarkoittaa tekoälyssä?
TTFT on lyhenne sanoista Time to First Token. Se mittaa millisekunteina ajan, joka kuluu kehotteen lähettämisestä siihen hetkeen, kun tekoälymalli luo vastauksensa ensimmäisen merkin tai sanan.
Miksi tekoälyn päättelymallit vastaavat niin hitaasti?
Päättelymallit eivät vain arvaa seuraavaa todennäköistä sanaa, vaan ne luovat sisäisiä välivaiheita ja arvioivat omia ratkaisujaan ennen lopullista vastausta. Tämä taustalaskenta vie huomattavasti enemmän aikaa kuin perinteinen tekstin generointi.
Voiko tavallinen käyttäjä pienentää viivettä?
Kyllä voi. Viivettä voi lyhentää pitämällä kehotteet ytimekkäinä ja poistamalla keskusteluhistoriasta turhat tiedostot, sillä pitkän taustamateriaalin lukeminen vie mallilta eniten esikäsittelyaikaa.
