Czym jest okno kontekstu?

👁 127 przeczytań

Okno kontekstu to rodzaj roboczej pamięci modelu językowego - wszystko, co w danym momencie model „widzi” i może wziąć pod uwagę, generując odpowiedź. Wchodzi do niego Twój prompt, historia rozmowy, wklejone dokumenty, a także sama odpowiedź modelu. Można to sobie wyobrazić jak kartkę papieru o określonej powierzchni - jak zapełnisz ją do końca, nowe treści zaczną wypadać z drugiej strony.

Rozmiar okna mierzy się w tokenach, czyli z grubsza w kawałkach słów. Jeden token to mniej więcej trzy czwarte przeciętnego słowa po angielsku, a po polsku bywa nieco gorzej. Modele różnią się znacząco wielkością okna kontekstu - od stosunkowo małych po naprawdę duże, pozwalające przetworzyć całe książki. Aktualne porównania znajdziesz w benchmarkach.

W praktyce ważna jest nie tylko wielkość okna, ale też to, jak model radzi sobie z informacjami umieszczonymi w jego środku. Badania pokazują, że modele lepiej zapamiętują to, co jest na początku i na końcu kontekstu - środek bywa „zapominany”. Nazywa się to efektem „lost in the middle” i warto o tym pamiętać, układając długie prompty.

Moja praktyczna wskazówka: najważniejsze instrukcje dawaj zawsze na samym początku lub na końcu, nie zakopuj ich w połowie długiego dokumentu. A jeśli zastanawiasz się, który model wybrać pod kątem wielkości kontekstu i ceny, zajrzyj na katalog narzędzi AI.

// czytaj dalejLiquid AI wypuszcza LFM2.5-Encoders - szybkie modele do długich kontekstów na CPUNewsyAsystent AI w przeglądarce będzie widział kontekst strony. To wygodne i niepokojące jednocześniePremiumModel kontekstowy staje się nowym systemem operacyjnym firmy. Kto kontroluje kontekst, kontroluje pracęPremium