Latens (Latency)
Latens er den tidsforsinkelse, der opstår fra en bruger sender en prompt til en AI-model, indtil systemet leverer de første data tilbage.
Latens betegner den tidsforsinkelse, der opstår fra et signal eller en forespørgsel afsendes, til det første svar modtages. Inden for kunstig intelligens måles latens typisk som tiden fra brugeren trykker på send-knappen med sin prompt, til sprogmodellen genererer det allerførste ord eller tegn på skærmen. Dette tidsrum kaldes i fagsprog ofte for time to first token.
Hvor hurtigt en model reagerer, har afgørende betydning for, hvordan teknologien opleves. I nogle sammenhænge er et par sekunders ventetid fuldstændig acceptabelt, mens selv en brøkdel af et sekund kan ødelægge oplevelsen i andre typer af applikationer.
Faktorer der påvirker svartiden
Når en forespørgsel sendes ind i en sprogmodel, sker der en række beregninger på specialiserede servere. Tiden det tager at få et svar afhænger af flere sammenhængende led i kæden:
- Modellens størrelse: Meget store modeller med mange milliarder parametre kræver langt mere regnekraft for at vurdere sandsynligheden for det næste ord. Mindre modeller reagerer markant hurtigere.
- Promptens længde: Hvis modellen først skal læse og analysere et langt dokument eller en omfattende samtalehistorik, stiger behandlingstiden forud for det første svar.
- Modellens arbejdsmetode: Avancerede ræsonnerende modeller bruger ekstra tid på interne beregningstrin for at gennemtænke logiske problemer, hvilket forlænger ventetiden mærkbart.
- Netværk og serverbelastning: Afstanden til det datacenter, der afvikler modellen, samt det aktuelle pres fra andre samtidige brugere påvirker den samlede svartid.
Hvorfor et splitsekund betyder alt i praksis
Kravene til lav latens varierer drastisk afhængigt af opgaven. Hvis en programmør hos et softwarehus i Aarhus bruger en AI-assistent til automatisk fuldførelse af kode i editoren, skal forslagene dukke op øjeblikkeligt mens fingrene rammer tasterne. Her vil en forsinkelse på over et halvt sekund få arbejdsflowet til at gå i stå.
Det samme gælder for stemmebaserede assistenter, som eksempelvis testes i den kommunale hjemmepleje til håndfri diktering af journalnotater. En naturlig samtale kræver pauser på under et par hundrede millisekunder. Hvis medarbejderen skal vente to sekunder på at systemet bekræfter en sætning, føles samtalen robotagtig og besværlig. Omvendt gør det sjældent noget, at en kommunikationsmedarbejder på et bureau i Odense må vente 40 sekunder på, at en model analyserer en årsrapport og genererer et resumé, fordi opgaven i sig selv sparer en times manuelt arbejde.
Arkitektur: Valget mellem hurtighed og dybde
Udviklere, der bygger digitale værktøjer med kunstig intelligens, balancerer konstant mellem intelligens og hurtighed. I mange moderne løsninger opdeles opgaverne derfor mellem flere forskellige modeller:
- En let og lynhurtig model håndterer den umiddelbare brugerkontakt, forstår hensigten og giver en hurtig kvittering eller svarer på simple spørgsmål med minimal forsinkelse.
- En tungere og langsommere model aktiveres i baggrunden, hvis der er behov for dybdegående analyse, kompleks problemløsning eller fejlsøgning, hvor brugeren på forhånd forventer en vis ventetid.
Typiske misforståelser om latens
En udbredt fejl er at forveksle latens med den samlede hastighed for tekstgenerering. En model kan have en fremragende gennemstrømning, hvilket betyder, at den spytter ord ud i et rasende tempo, når den først er i gang. Men hvis det tager fem sekunder før det første ord viser sig, lider systemet stadig under høj latens.
En anden misforståelse er, at internetforbindelsen altid er synderen, når et svar lader vente på sig. Selvom hurtigt bredbånd er en forudsætning, stammer langt størstedelen af forsinkelsen i generative AI-værktøjer fra selve beregningsfasen inde i modellen.
Ofte stillede spørgsmål
Hvad er forskellen på latens og gennemstrømning (throughput)?
Latens er tiden det tager at få det allerførste svar tilbage fra modellen. Gennemstrømning måler derimod, hvor mange ord eller tokens modellen kan generere per sekund, efter den er gået i gang.
Hvorfor tænker ræsonnerende modeller længere?
Ræsonnerende modeller gennemfører interne overvejelser og kontrollerer deres egne mellemregninger, før de formulerer det endelige svar til brugeren, hvilket øger ventetiden.
Hvordan kan udviklere reducere latens i deres AI-apps?
Det gøres typisk ved at vælge mindre modeller til simple opgaver, optimere promptens længde, anvende streaming af svar eller placere serverne tættere på brugeren geografisk.
