Przejdź do treści
promptowy.com / KI-ordbok / Latens (forsinkelse)
Teknologi

Latens (forsinkelse)

Latens i kunstig intelligens er tidsforsinkelsen fra en forespørsel sendes til modellen begynner å svare, ofte målt som tid til første ord.

Latens i kunstig intelligens refererer til forsinkelsen eller ventetiden mellom det øyeblikket en bruker sender en instruks, og det øyeblikket systemet faktisk reagerer. I samtalebaserte språkmodeller måles dette i praksis ofte som tiden det tar før det aller første ordet eller tegnet vises på skjermen. Dette tidsrommet kalles gjerne tid til første token på fagspråket.

For en vanlig nettleser eller en enkel databaseforespørsel handler latens mest om nettverkshastighet. Innen generativ AI er situasjonen en helt annen: Her krever hvert svar enorme mengder matematiske beregninger på spesialiserte prosessorer før et eneste ord kan settes sammen. Resultatet er at latens ofte blir den mest kritiske faktoren for om en AI-tjeneste føles responsiv eller treg.

Hva skaper forsinkelse i AI-systemer?

Når du trykker på send-knappen i et AI-verktøy, skjer det flere ting i bakgrunnen som bygger opp den samlede latensen:

  • Modellens fysiske størrelse: Store modeller med hundrevis av milliarder parametere krever mer regnekraft og flytting av data i minnet enn kompakte modeller.
  • Tekstmengden i ledeteksten: Jo lengre dokumenter, chat-historikk eller instruksjoner du sender inn, desto mer må systemet lese og analysere før det kan formulere et svar.
  • Trafikk og serverbelastning: Hvis tusenvis av andre brukere sender henvendelser til samme datasenter samtidig, oppstår det kødannelse på grafikkortene.
  • Resonneringsmodus: Nyere modeller som er programmert til å tenke seg om i flere steg før de svarer, vil bevisst legge inn flere sekunders forsinkelse for å verifisere logikken sin.

Hvorfor lav latens er avgjørende i hverdagen

I mange arbeidsoppgaver betyr ikke noen sekunders ventetid særlig mye. Skal et advokatkontor i Oslo analysere en bunke kontrakter over natten, spiller det ingen rolle om prosessen tar ti sekunder eller tre minutter per dokument. Nøyaktigheten er det eneste som teller.

Det stiller seg helt annerledes når teknologien skal brukes i sanntid. Hvis du bruker et kodeverktøy som foreslår neste linje mens du taster, må forslaget dukke opp på brøkdelen av et sekund for ikke å ødelegge flyten. Det samme gjelder for stemmestyrte samtaleassistenter. En naturlig samtale krever at motparten svarer innen et halvt sekund. Venter systemet i tre eller fire sekunder, blir samtalen hakkete, pinlig og lite brukervennlig.

Et lokalt eksempel: Vinterberedskap i Tromsø

Tenk deg en lokal entreprenør i Tromsø som drifter brøytebiler og strøing for private borettslag. De setter opp en digital taleassistent på telefonen for å ta imot akutte meldinger fra vaktmestere under et kraftig snøvær.

Dersom denne telefonassistenten er koblet til en massiv, treg AI-modell, vil innringeren oppleve en unaturlig pause etter hver setning. Innringeren tror kanskje linjen er brutt, begynner å gjenta seg selv, og samtalen sporer av. Ved å bytte til en spesialisert, mindre modell optimalisert for lav latens, kan assistenten svare nesten momentant. Brukeropplevelsen går fra frustrerende til sømløs, selv om den mindre modellen kanskje har litt mindre generell kunnskap om verdenshistorien.

Hvordan håndtere latens i praksis

Utviklere og bedrifter som bygger løsninger på toppen av språkmodeller, bruker gjerne to strategier for å temme ventetiden:

  1. Strømming av svar: I stedet for å vente på at hele svaret genereres ferdig før det vises, sendes ordene ut pulsvis så fort de er klare. Brukeren ser at teksten skrives umiddelbart, noe som reduserer den opplevde ventetiden dramatisk.
  2. Rutingsystemer: Systemet sender enkle spørsmål til en lynrask, liten modell, mens komplekse resonneringsoppgaver rutes til en tyngre modell der brukeren aksepterer å vente på en fremdriftsindikator.

En klassisk misforståelse

Det er lett å blande sammen latens og total genereringstid. Latens handler primært om reaksjonstiden: Hvor lenge må du vente før det skjer noe som helst? Total genereringstid handler derimot om hvor mange ord modellen spytter ut per sekund når den først har startet. En modell kan ha svært lav latens og reagere på et blunk, men likevel skrive teksten sakte, og omvendt.

Ofte stilte spørsmål

Hva betyr TTFT i AI-modeller?

TTFT står for Time to First Token, og er det tekniske målet på hvor mange millisekunder det tar fra forespørselen sendes til det første ordet eller tegnet dukker opp i svaret.

Hvorfor er resonnerende modeller tregere?

Resonnerende modeller bruker en intern tankeprosess der de evaluerer ulike løsningsmetoder og sjekker egne feil før de viser det endelige svaret, noe som øker ventetiden.

Kan jeg forbedre latensen ved å skrive kortere meldinger?

Ja. Jo kortere og mer presis ledeteksten din er, desto færre data må modellen prosessere innledningsvis, noe som ofte gir raskere respons.

Hva er forskjellen mellom latens og båndbredde?

Latens måler forsinkelsen i reaksjonstid, altså hvor raskt en handling starter, mens båndbredde eller gjennomstrømming handler om hvor mye data eller tekst som kan leveres over en gitt tidsperiode.

← Alle begreper i KI-ordboken

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›