Streaming (strømming i kunstig intelligens)
Streaming i kunstig intelligens betyr at språkmodellen sender svar fortløpende, ord for ord eller tegn for tegn, i stedet for å vente til alt er ferdig.
Streaming innen kunstig intelligens refererer til en teknisk metode der en språkmodell leverer svaret sitt fortløpende mens det lages, i stedet for å vente til hele teksten er ferdig generert. Når du stiller et spørsmål til en chatbot og ser ordene dukke opp ett etter ett på skjermen som om noen skriver dem der og da, er det nettopp streaming du er vitne til.
Uten streaming måtte du ha stirret på et roterende venteikon i flere sekunder før hele teksten plutselig ble spyttet ut på én gang. I generative modeller fungerer streaming ved at hvert minste tekstfragment, ofte kalt et token, sendes over nettverket til brukerens nettleser eller applikasjon i samme millisekund som det blir beregnet av dataserveren.
Slik fungerer streaming bak kulissene
Språkmodeller fungerer ved å forutsi neste ord eller tekstbit i en setning basert på statistiske mønstre. Denne prosessen skjer sekvensielt: maskinen gjetter det første ordet, bruker deretter dette ordet til å gjette det andre ordet, og fortsetter slik til hele resonnementet er ferdig.
Ved tradisjonell henting av data, ofte kalt en blokkerende forespørsel, holder serveren tilbake hele resultatet til modellen har satt sitt siste punktum. Ved streaming opprettes det en kontinuerlig datatilkobling, ofte via teknologier som Server-Sent Events (SSE). Serveren dytter ut hvert nye fragment så snart det er klart, noe som gir to markante fordeler:
- Lavere opplevd forsinkelse: Brukeren ser det første ordet nesten umiddelbart, selv om en lang rapport tar tjue sekunder å fullføre.
- Mulighet for avbrudd: Ser du straks at modellen har misforstått spørsmålet, kan du trykke på en stoppknapp og avbryte genereringen umiddelbart.
- Mindre ressursbruk: Ved å avbryte et svar som har sporet av, sparer man både regnekraft hos leverandøren og eventuelle driftskostnader for datakraft.
Et praktisk eksempel fra en norsk bedrift
Tenk deg et lokalt regnskapskontor i Bodø som bygger en egen intern assistent for å hjelpe rådgiverne med å tolke skatteregler og dokumentasjon. Når en rådgiver ber om et omfattende sammendrag av en lang revisjonsrapport, kan det ferdige svaret bli på over tusen ord.
Dersom kontorets system ikke benytter streaming, vil rådgiveren måtte sitte og vente i stillhet i kanskje femten til tjue sekunder uten å vite om systemet har hengt seg opp eller jobber for fullt. Med streaming aktivert begynner overskriften og de første setningene å rulle over skjermen etter bare et halvt sekund. Rådgiveren kan begynne å lese innledningen med en gang, og opplever dermed at verktøyet reagerer lynraskt i en travel arbeidshverdag.
Slik brukes streaming i applikasjonsutvikling
Når norske utviklere kobler bedriftens systemer mot et API for kunstig intelligens, er streaming som regel et enkelt valg i forespørselen. Vanligvis krever det bare at man setter en parameter som stream=true i koden.
På mottakersiden må programmet settes opp til å lytte på en kontinuerlig datastrøm i stedet for å vente på et samlet svar. Nettleseren eller appen tar imot hver tekstbit, legger den til i den eksisterende tekstruten og oppdaterer brukergrensesnittet i sanntid. Dette krever litt mer programmeringslogikk for å håndtere nettverksbrudd eller feilmeldinger midt i strømmen, men gevinsten for brukeropplevelsen er enorm.
Vanlige misforståelser om streaming
En vanlig misforståelse er å tro at streaming gjør at modellen tenker eller regner raskere totalt sett. Det gjør den ikke. Den totale tiden det tar å skrive ferdig et langt avsnitt fra start til slutt er omtrent nøyaktig den samme, og noen ganger marginalt lengre på grunn av kontinuerlig nettverkstrafikk. Forskjellen ligger i når brukeren får tilgang til informasjonen.
En annen feil er å forveksle streaming av tekst i AI med streaming av video og musikk fra kjente underholdningstjenester. Mens mediefiler spilles av fra ferdiglagrede filer på en server, skapes teksten i en AI-modell i sanntid, ord for ord, millisekundet før du leser den.
Ofte stilte spørsmål
Gjør streaming at kunstig intelligens svarer raskere?
Nei, den totale tiden for å fullføre hele teksten er den samme. Men du opplever at det går raskere fordi du ser de første ordene med en gang.
Hva skjer hvis nettverket faller ut under streaming?
Hvis internettforbindelsen brytes underveis, stopper tekststrømmen, og du sitter igjen med en ufullstendig setning frem til du ber om svaret på nytt.
Koster det mer å bruke streaming i egne apper?
Nei, leverandørene tar vanligvis betalt for antall genererte ord eller tegn, uavhengig av om de sendes samlet eller strømmes fortløpende.
Kan jeg alltid avbryte en modell som strømmer?
Ja, de fleste grensesnitt som støtter streaming lar deg trykke på en stoppknapp som umiddelbart kutter tilkoblingen og avslutter genereringen.
