Słownik AI / Streaming
⚙️ Technika
Streaming
Wysyłanie odpowiedzi na żywo, token po tokenie - stąd „pisanie” czatu na ekranie.
Streaming to tryb, w którym model wysyła odpowiedź na bieżąco, token po tokenie, zamiast czekać z całością do końca generowania. To dzięki niemu czaty „piszą” na ekranie jak człowiek na klawiaturze.
Poza efektem wizualnym streaming ma praktyczne znaczenie: użytkownik zaczyna czytać od razu, więc odczuwane opóźnienie spada, a długie odpowiedzi można przerwać w trakcie, oszczędzając czas i koszty. W API to standardowa opcja przy budowaniu własnych aplikacji.
Pojęcia powiązane