Konteksti-ikkuna (context window)
Konteksti-ikkuna tarkoittaa sitä tekstimäärää, jonka tekoälymalli kykenee hahmottamaan ja muistamaan kerrallaan yhden keskustelun aikana.
Konteksti-ikkuna, josta käytetään usein englanninkielistä termiä context window, on se rajattu tekstimäärä, jonka suuri kielimalli kykenee käsittelemään ja pitämään aktiivisessa työmuistissaan kerrallaan. Kun keskustelet tekoälyn kanssa, tämä ikkuna kattaa kaiken sen tiedon, jonka malli ottaa huomioon vastausta laatiessaan: oman kehotteesi, liitetyt tiedostot, aiemman keskusteluhistorian sekä vastauksen, jota malli parhaillaan tuottaa.
Mikäli syötettävä kokonaisuus ylittää tämän ikkunan koon, vanhin tieto putoaa mallin näkökentästä pois. Tekoälyllä ei nimittäin ole pysyvää, inhimillistä muistia keskustelujen välillä tai niiden kuluessa. Jokainen uusi vastaus syntyy laskemalla todennäköisyyksiä puhtaasti sen aineiston pohjalta, joka mahtuu konteksti-ikkunaan juuri sillä tietyllä hetkellä.
Miten konteksti-ikkuna toimii konepellin alla?
Tekoäly ei laske konteksti-ikkunan kokoa kirjaimina tai sanoina, vaan niin sanottuina tokeneina. Token on tekstin perusyksikkö, joka voi olla kokonainen sana, sanan osa tai yksittäinen välimerkki. Suomen kielen rikas taivutusrakenne ja yhdyssanat tarkoittavat käytännössä sitä, että suomenkielinen lause vie yleensä enemmän tokeneita kuin vastaava määrä englanninkielistä tekstiä.
Kielimallin konteksti-ikkuna toimii liukuvasti. Kun keskustelu pitkittyy ja tekstin kokonaismäärä ylittää järjestelmän rajat, vanhimmat viestit häviävät taustalta. Tästä syystä saatat huomata, että pitkän istunnon loppupuolella tekoäly alkaa toistaa itseään, unohtaa keskustelun alussa asetetut reunaehdot tai puhuu ristiin aiempien vastaustensa kanssa. Malli ei varsinaisesti unohda tahallaan, vaan vanha tieto on kirjaimellisesti sulkeutunut konteksti-ikkunan ulkopuolelle.
Käytännön esimerkki: tamperelainen isännöitsijätoimisto
Kuvitellaan arkinen tilanne tamperelaisessa isännöitsijätoimistossa. Isännöitsijä haluaa vertailla Hervannassa sijaitsevan suuren taloyhtiön putkiremonttitarjouksia ja syöttää tekoälylle viisi laajaa tarjousasiakirjaa, urakkaselityksen sekä taloyhtiön edellisen yhtiökokouksen pöytäkirjan.
Jos käytettävän tekoälytyökalun konteksti-ikkuna on suppea, aineisto ei mahdu siihen kokonaisena. Tekoäly saattaa lukea kaksi ensimmäistä tarjousta huolellisesti, mutta kolmannen kohdalla ensimmäinen tarjous alkaa jo leikkautua pois. Tuloksena saatu vertailutaulukko on puutteellinen tai antaa virheellisen kuvan kokonaiskustannuksista, koska malli ei kyennyt näkemään kaikkia papereita yhtä aikaa.
Laajan konteksti-ikkunan ansiosta isännöitsijä voi sen sijaan tuoda koko useiden satojen sivujen asiakirjanipun kerralla käsiteltäväksi. Tällöin malli voi tehdä luotettavia nostoja ja etsiä eroja eri urakoitsijoiden takuuehdoista koko materiaalin laajuudelta yhdellä ainoalla pyynnöllä.
Neula heinäsuovassa ja huomiokyvyn haasteet
Vaikka modernit kielimallit pystyvät vastaanottamaan kymmeniä tai jopa satoja tuhansia sanoja kerralla, valtava konteksti-ikkuna ei automaattisesti takaa täydellistä tarkkuutta. Ilmiötä kutsutaan usein ongelmaksi löytää neula heinäsuovasta.
Kielimallien huomiomekanismilla on taipumus painottaa syötteen alkua ja loppua. Jos tärkeä yksityiskohta, kuten poikkeava laskutusehto tai erityinen sopimuspykälä, on piilotettu massiivisen tekstimassan keskivaiheille, malli saattaa sivuuttaa sen. Erittäin pitkissä materiaaleissa laatu voi siis heitellä, vaikka aineisto mahtuisikin teknisesti ikkunan sisään.
Miten hyödynnät konteksti-ikkunaa parhaalla tavalla?
Paremman lopputuloksen saavuttamiseksi kannattaa noudattaa muutamaa perussääntöä, teitpä töitä toimistolla tai opiskelitpa uutta alaa:
- Sijoita kriittiset ohjeet loppuun: Jos syötät mallille pitkän taustamateriaalin, kirjoita varsinainen toimintaohje tai kysymys tekstin loppuun juuri ennen vastauspyyntöä.
- Aloita uusi keskustelu säännöllisesti: Jos vaihdat aihetta saman projektin sisällä, tyhjennä pöytä ja aloita uusi keskusteluikkuna. Näin vanha kuorma ei syö arvokasta tilaa eikä sekoita mallia.
- Tiivistä laajat kokonaisuudet: Jos sinulla on valtava määrä aineistoa, pyydä mallia ensin tiivistämään eri osiot luku kerrallaan ja tee varsinainen analyysi vasta näiden tiivistelmien pohjalta.
- Karsi turha täyte: Poista raporteista toistuvat kansilehdet, sisällysluettelot ja pitkät lähdeluettelot ennen tekstin liittämistä kehotteeseen.
Usein kysytyt kysymykset
Miksi tekoäly unohtaa asioita pitkän keskustelun aikana?
Tekoäly unohtaa asioita siksi, että keskustelun pituus ylittää mallin konteksti-ikkunan. Kun uutta tekstiä tulee lisää, vanhimmat viestit putoavat pois mallin aktiivisesta muistista.
Lasketaanko konteksti-ikkuna sanoina vai sivuina?
Koko mitataan tokeneina, jotka ovat tekstin rakenneosia. Yksi token vastaa suomen kielessä usein muutamaa kirjainta tai sanan osaa, joten suomenkielinen teksti kuluttaa ikkunaa hieman enemmän kuin englanti.
Mitä haittaa on liian suuren aineiston syöttämisestä kerralla?
Vaikka teksti mahtuisi ikkunaan, mallin huomiokyky voi heikentyä aineiston keskivaiheilla. Tällöin tärkeitä yksityiskohtia saattaa jäädä huomaamatta, minkä lisäksi vastauksen muodostaminen voi hidastua merkittävästi.
Miten voin pidentää tekoälyn muistia ilman isompaa konteksti-ikkunaa?
Paras keino on aloittaa uusia keskusteluja tiivistetyillä pohjatiedoilla tai käyttää ulkoisia tiedonhakumenetelmiä, joissa mallille haetaan kerrallaan vain kysymykseen suoraan liittyvät katkelmat.
