Słownik AI / Okno kontekstu

⚙️ Technika

Okno kontekstu to maksymalna ilość tekstu (liczona w tokenach), którą model „widzi” jednocześnie: twój prompt, wklejone materiały, dotychczasową rozmowę i własną odpowiedź. Co się nie mieści, tego model po prostu nie zna - stąd „zapominanie” początku długich rozmów.

Współczesne okna sięgają setek tysięcy, a u niektórych modeli nawet miliona tokenów, co pozwala wrzucić całą książkę czy repozytorium kodu. W praktyce jednak jakość pracy modelu bywa nierówna na bardzo długich kontekstach - kluczowe informacje lepiej umieszczać na początku lub końcu materiału.