Latency (vertraging)
Latency is de reactietijd tussen het versturen van een vraag aan een AI-systeem en het moment waarop het model daadwerkelijk begint met antwoorden.
Latency (of vertraging) is de tijdsduur tussen de actie van een gebruiker en de waarneembare reactie van het systeem. Bij kunstmatige intelligentie gaat het specifiek om de tijd die verstrijkt vanaf het moment dat je een prompt verstuurt totdat het model zijn eerste woorden terugstuurt. Binnen de techniek staat deze specifieke pauze bekend als de Time to First Token (TTFT).
Waar latency bij traditionele websites vooral draait om de netwerkverbinding tussen jouw browser en de server, komt er bij generatieve AI een flinke rekenstap bij. Het AI-model moet jouw invoer eerst volledig analyseren, omzetten in interne wiskundige representaties en vervolgens woord voor woord een antwoord berekenen. Die berekeningen kosten fracties van seconden tot soms tientallen seconden, afhankelijk van de complexiteit.
Waarom reactiesnelheid cruciaal is
Niet elke AI-toepassing stelt dezelfde eisen aan de reactiesnelheid. Voor een analyse van financiële kwartaalcijfers op een kantoor in Brussel of Rotterdam maakt het weinig uit of het rapport na tien seconden of na twee minuten klaarstaat. Nauwkeurigheid en diepgang zijn daar doorslaggevend.
De situatie verandert compleet bij interactieve toepassingen. Denk aan een slimme spraakassistent van een Belgische telecomaanbieder of een klantenservice-bot van een fietsenwinkel in Utrecht. Wanneer een klant telefonisch een vraag stelt over een reparatie en er valt telkens een stilte van drie seconden, voelt het gesprek direct houterig en ongemakkelijk aan. Ook bij automatische code-aanvulling voor programmeurs of bij realtime vertalingen tijdens een lezing is een lage latency van levensbelang: elke vertraging haalt de gebruiker uit zijn concentratie.
Welke factoren bepalen de vertraging?
De totale wachttijd voor een gebruiker is een optelsom van verschillende technische onderdelen. De belangrijkste oorzaken van hoge latency bij taalmodellen zijn:
- Modelomvang: Zeer grote modellen met honderden miljarden parameters moeten enorme hoeveelheden gegevens door hun rekenlagen pompen, wat puur fysiek meer tijd kost dan bij compacte modellen.
- Lengte van de invoer: Hoe langer de meegestuurde context (zoals een lange e-mailwisseling of een juridisch dossier), hoe langer het model nodig heeft om de invoer in te lezen voordat het kan beginnen met formuleren.
- Redeneermodellen: Geavanceerde modellen die eerst intern denkstappen genereren om logische fouten te verminderen, hebben van nature een aanzienlijk hogere latency. Ze denken letterlijk langer na voordat ze de eerste letter tonen.
- Serverbelasting en wachtrijen: Als duizenden gebruikers tegelijk een verzoek sturen naar hetzelfde datacenter, belandt jouw vraag tijdelijk in een wachtrij voordat de grafische processors (GPU's) ermee aan de slag gaan.
Hoe ontwikkelaars latency verlagen
Om applicaties snel en responsief te houden, passen softwareontwikkelaars slimme trucjes toe. Een van de populairste methoden is streaming: in plaats van te wachten tot het complete antwoord klaar is, toont de interface elk gegenereerd token direct op het scherm. De gebruiker kan al beginnen met lezen, waardoor de gevoelsmatige latency drastisch daalt.
Een andere veelgebruikte aanpak is model-orchestratie. Een webshop in Antwerpen kan bijvoorbeeld een klein en vliegensvlug AI-model inzetten voor eenvoudige retourvragen, terwijl complexe klachten op de achtergrond worden doorgestuurd naar een zwaarder, trager model. Door de prompt zo beknopt mogelijk te houden en slimme caching te gebruiken voor veelgestelde vragen, blijft de algehele ervaring vlot.
Veelgemaakte fout: altijd het grootste model kiezen
Een veelvoorkomende vergissing bij het bouwen van AI-functies is de aanname dat het grootste en slimste model automatisch de beste keuze is. Wie een zwaar redeneermodel inzet voor het automatisch aanvullen van zoekbalken of het categoriseren van binnenkomende e-mails, zadelt gebruikers op met onnodige vertraging en het platform met hoge serverkosten. Succesvol ontwerpen met AI draait om de juiste balans: kies altijd het snelste en kleinste model dat de taak nog net foutloos kan uitvoeren.
Veelgestelde vragen
Wat betekent Time to First Token (TTFT)?
Time to First Token is de exacte tijd tussen het verzenden van je invoer en het verschijnen van het allereerste token (woorddeel) van het antwoord op je scherm.
Waarom reageren sommige denkende AI-modellen trager?
Deze modellen voeren eerst interne redeneerstappen uit om aannames te controleren en fouten te voorkomen. Die extra denklaag kost computertijd, waardoor de latency toeneemt.
Hoe kan ik als ontwikkelaar latency verlagen?
Je kunt latency verlagen door prompts compacter te maken, streaming toe te passen, kleinere gespecialiseerde modellen te gebruiken en veelgebruikte antwoorden lokaal op te slaan via caching.
Is latency hetzelfde als verwerkingssnelheid?
Nee. Latency is de reactietijd tot het antwoord start, terwijl verwerkingssnelheid (vaak gemeten in tokens per seconde) aangeeft hoe snel het model het antwoord vervolgens uittypt.
