Latens (latency)
Latens inom AI avser tidsfördröjningen från det att en fråga skickas tills systemet börjar svara, ofta mätt som tid till första ord eller tecken.
Latens, eller latency på engelska, är den tidsfördröjning som uppstår mellan en användares handling och systemets reaktion. När du skickar en fråga till en AI-modell handlar latens om antalet millisekunder eller sekunder det tar från att du trycker på skicka till dess att modellen faktiskt börjar producera text, ljud eller bild. Inom modern artificiell intelligens mäts detta ofta som tid till första token, alltså det ögonblick då det allra första ordet eller stavelsen dyker upp på skärmen.
Hög latens innebär att systemet känns trögt och tveksamt, medan låg latens ger en känsla av omedelbar respons. Hur mycket latensen spelar roll beror helt på användningsområdet. Vid direkt interaktion, som röststyrning eller automatisk kodkomplettering under tiden man skriver, är varje tiondels sekund avgörande. Ska systemet däremot producera en omfattande sammanfattning av ett dokument i bakgrunden spelar några sekunders väntetid sällan någon större roll.
Vad orsakar fördröjningen i en AI-modell?
Flera faktorer samverkar när latens uppstår vid användning av artificiell intelligens:
- Modellens storlek: En mycket stor språkmodell med hundratals miljarder parametrar kräver enorma beräkningar för varje enskilt ord som genereras. Ju större modell, desto längre tid tar processen.
- Promptens längd: Innan modellen kan formulera ett svar måste den läsa och tolka hela texten som skickats in. Långa dokument eller instruktioner ökar beräkningstiden markant.
- Resonerande lägen: Vissa moderna modeller är byggda för att tänka i flera steg och kontrollera sina egna resonemang innan de presenterar ett slutresultat. Denna tankeprocess ger ofta mer genomtänkta svar, men ökar latensen avsevärt.
- Belastning och nätverk: Fysiskt avstånd till serverhallen och aktuell belastning på beräkningsklustret påverkar hur snabbt signalen färdas och hur snabbt förfrågan kan hanteras.
Exempel från verkligheten: Kundtjänst i Göteborg mot bokslut i Örebro
Föreställ dig ett lokalt kollektivtrafikbolag i Göteborg som implementerar en röstassistent i sin app för att hjälpa resenärer med snabba byten vid Brunnsparken. När en resenär frågar om nästa spårvagn måste svaret komma direkt. Om modellen funderar i fyra sekunder upplever användaren systemet som trasigt och hinner missa vagnen. Här krävs extremt låg latens, vilket innebär att bolaget måste använda en mindre, optimerad modell som svarar på bråkdelen av en sekund.
Kontrastera detta med en redovisningsbyrå i Örebro som använder AI för att analysera årsredovisningar åt lokala hantverkarföretag. När byrån laddar upp ett helt års fakturaunderlag för att generera en revisionsrapport gör det ingenting om processen tar trettio sekunder eller två minuter. Här prioriteras precision, djup förståelse och resonemang framför millisekunder. Samma tekniska begrepp får därmed helt olika betydelse beroende på verksamhetens behov.
Metoder för att minska fördröjningen
Utvecklare och företag som bygger lösningar ovanpå språkmodeller använder ett flertal beprövade tekniker för att hålla svarstiderna nere:
- Strömma svaret (streaming): Istället för att vänta på att hela svaret beräknas färdigt skickas varje ord till användarens skärm så fort det är klart. Detta minskar den upplevda latensen enormt eftersom användaren kan börja läsa omedelbart.
- Modellkombination: Man kan använda en blixtsnabb och mindre modell för den första kontakten eller för att klassificera användarens fråga, och sedan bara koppla in tyngre modeller vid komplexa uppgifter.
- Kortare instruktioner: Genom att rensa bort onödig text i bakomliggande systemprompter minskar mängden information som måste bearbetas före det första ordet formuleras.
- Smart cachelagring: Vanliga frågor och återkommande systeminstruktioner kan förbehandlas och sparas i minnet så att modellen inte behöver läsa in dem på nytt vid varje anrop.
Vanliga misstag kring latens
Ett mycket vanligt misstag bland företag som börjar bygga AI-funktioner är att automatiskt välja den största och mest avancerade modellen på marknaden för alla typer av problem. Det leder ofta till att användargränssnittet upplevs som långsamt och frustrerande, trots att modellens faktiska svar är av hög kvalitet. Ett annat fel är att förväxla latens med kapacitet eller genomströmning: ett system kan klara av att hantera tusentals användare parallellt utan att krascha, men ändå ha en enskild svarstid som är för långsam för en dialog.
Vanliga frågor
Vad är skillnaden mellan latens och genomströmning?
Latens är tiden det tar för en enskild förfrågan att starta eller slutföras, medan genomströmning (throughput) mäter hur stor mängd data eller hur många förfrågningar systemet klarar av att hantera totalt per tidsenhet.
Vad betyder TTFT inom AI?
TTFT står för Time to First Token och anger tiden från att en fråga skickas tills det första ordet eller tecknet genereras av modellen, vilket är det viktigaste måttet för hur snabb AI-upplevelsen känns för en användare.
Varför svarar resonerande modeller långsammare?
Resonerande modeller genererar osynliga tankekedjor och utvärderar interna hypoteser innan de formulerar det slutgiltiga svaret, vilket kräver fler beräkningssteg och därmed ökar väntetiden.
Hur kan jag mäta latens i mitt eget projekt?
Du mäter enklast latens genom att logga tidsstämpeln precis när ett API-anrop initieras och sedan jämföra den med tidsstämpeln då det första svarssegmentet eller det fullständiga svaret tas emot av din applikation.
