Latenz (Latency)
Latenz bezeichnet in der KI die zeitliche Verzögerung zwischen dem Absenden eines Prompts und dem Eintreffen der ersten Antwort des Modells.
Latenz bezeichnet bei Systemen mit künstlicher Intelligenz die zeitliche Verzögerung zwischen dem Absenden einer Anfrage und der sichtbaren Reaktion des Systems. Wenn Sie einer Sprach-KI eine Frage stellen, vergehen oft einige Sekundenbruchteile oder sogar mehrere Sekunden, bis das erste Wort auf dem Bildschirm erscheint. In der technischen Praxis wird diese Dauer meist als Zeit bis zum ersten Token (Time to First Token) gemessen.
Während bei klassischen Datenbanken Antworten oft in wenigen Millisekunden vorliegen, erfordert generative KI enorme Rechenleistung. Das neuronale Netz liest nicht einfach fertigen Text aus einer Tabelle ab, sondern berechnet die wahrscheinlichsten nächsten Silben und Wörter Schritt für Schritt auf spezialisierten Grafikprozessoren.
Welche Faktoren beeinflussen die Antwortzeit?
Die spürbare Verzögerung eines KI-Modells setzt sich aus verschiedenen technischen Komponenten zusammen:
- Modellgröße und Architektur: Riesige Modelle mit hunderten Milliarden Parametern benötigen mehr Rechenschritte pro Wort als kompakte, spezialisierte Alternativen.
- Länge der Eingabe: Je mehr Text im Systemprompt oder im bisherigen Chatverlauf steht, desto länger dauert die initiale Analyse, bevor die Ausgabe überhaupt beginnen kann.
- Serverauslastung und Infrastruktur: Teilen sich viele Nutzer dieselben Rechenkapazitäten in einem Rechenzentrum, verlängert sich die Warteschlange der Anfragen.
- Modus der Denkprozesse: Moderne Argumentationsmodelle (Reasoning-Modelle) erzeugen vor der finalen Antwort interne Gedankenschritte. Diese logischen Zwischenschritte erhöhen die Latenz spürbar, verbessern aber die Genauigkeit komplexer Aufgaben.
Praxisbeispiel: Sprachassistent in Zürich versus Steuerbericht in Leipzig
Ob Latenz ein ernsthaftes Problem darstellt, hängt vollständig vom Einsatzzweck ab. Bei einer telefonischen Terminvergabe in einer Gemeinschaftspraxis in Zürich oder bei der automatischen Code-Vervollständigung im Entwicklerbüro in Wien sind lange Denkpausen inakzeptabel. Wenn ein Anrufer nach einer Frage zwei Sekunden absolute Stille erlebt, wirkt das Gespräch unnatürlich und fehlerhaft. In solchen Szenarien müssen Teams extrem schlanke, schnelle Modelle wählen, die innerhalb von 200 bis 400 Millisekunden antworten.
Ganz anders sieht es in einer Steuerberatungskanzlei in Leipzig aus: Lässt man dort eine KI ein zwanzigseitiges Protokoll zusammenfassen oder steuerliche Szenarien analysieren, spielt eine Wartezeit von zehn oder fünfzehn Sekunden kaum eine Rolle. Hier zählt ausschließlich die inhaltliche Tiefe, für die Anwender gerne etwas Geduld aufbringen.
Strategien gegen quälende Wartezeiten
Entwickler und Unternehmen setzen verschiedene Methoden ein, um die empfundene oder tatsächliche Latenzzeit zu drücken:
- Streaming aktivieren: Statt die gesamte Antwort im Hintergrund zu generieren und erst als fertigen Block auszugeben, wird jedes Wort sofort an die Oberfläche übertragen. Der Nutzer liest bereits mit, während das Modell noch rechnet.
- Modell-Kaskaden (Routing): Ein kleines, blitzschnelles Modell nimmt die Anfrage entgegen. Nur wenn die Aufgabe wirklich komplex ist, leitet das System den Prompt an das langsamere Schwergewicht weiter.
- Prompt-Caching nutzen: Wiederkehrende Arbeitsanweisungen oder Dokumente werden im Speicher des Rechenzentrums vorgehalten, sodass das Modell sie nicht bei jeder Nachfrage neu einlesen muss.
Typischer Denkfehler: Latenz mit Ausgabedauer verwechseln
Ein häufiges Missverständnis besteht darin, Latenz mit der gesamten Bearbeitungszeit gleichzusetzen. Die reine Latenz beschreibt lediglich die Vorlaufzeit bis zum Beginn der Ausgabe. Wenn ein Modell nach nur 300 Millisekunden mit dem Schreiben beginnt, für einen langen Text aber dreißig Sekunden benötigt, ist die Latenz hervorragend, die Durchsatzrate (Tokens pro Sekunde) jedoch durchschnittlich. Für das menschliche Empfinden ist fast immer die Startverzögerung entscheidend, da sie über das Gefühl von Direktheit und Flüssigkeit bestimmt.
Häufig gestellte Fragen
Was bedeutet TTFT bei KI-Modellen?
TTFT steht für Time to First Token. Es beschreibt exakt die Zeitspanne vom Absenden Ihres Prompts bis zu dem Moment, in dem das Modell das allererste Textteilchen zurückgibt.
Warum reagieren sogenannte Reasoning-Modelle langsamer?
Diese Modelle durchlaufen vor der eigentlichen Ausgabe eine interne Kette von Denkschritten. Dadurch überprüfen sie Zwischenergebnisse selbst, was die Rechenzeit vor der sichtbaren Antwort verlängert.
Kann eine schnelle Internetverbindung die KI-Latenz beseitigen?
Nein, nur zu einem sehr geringen Teil. Die Netzübertragung macht meist nur wenige Millisekunden aus; der Großteil der Verzögerung entsteht direkt durch die Rechenarbeit auf den KI-Servern.
