500 tysięcy tokenów kontekstu w Groku 4.7: co się w to mieści naprawdę

👁 167 przeczytań

Grok 4.7 ma 500 tysięcy tokenów okna kontekstu - dwa razy mniej niż modele reklamujące milion. Sprawdziłem, co się w te 500 tysięcy realnie mieści i kiedy ta różnica ma znaczenie, a kiedy jest wyłącznie liczbą na slajdzie.

Co się mieści w 500 tysiącach tokenów

Przyjmijmy przelicznik, który sprawdza się dla polskiego tekstu: jedna strona maszynopisu to mniej więcej 500 tokenów. Polski zużywa ich nieco więcej niż angielski, bo tokenizery są trenowane głównie na angielszczyźnie - to warto mieć z tyłu głowy.

Dwa przypadki, w których 500k to za mało

1. Duża baza kodu w całości

Projekt z pięćdziesięcioma tysiącami linii kodu to około 600 tysięcy tokenów - już nie wchodzi. Ale to jest opinia poparta praktyką: wrzucanie całej bazy kodu do kontekstu i tak rzadko jest dobrym pomysłem. Model gubi się w szumie, a odpowiedzi robią się ogólne. Lepiej działa wskazanie konkretnych plików.

2. Setki dokumentów naraz

Przy analizie dwudziestu godzin transkrypcji albo kilkuset pism 500 tysięcy nie starcza. Tu różnica wobec miliona jest realna.

Ale jest obejście i zwykle jest lepsze: dzielisz materiał na partie, przetwarzasz każdą osobno i składasz wyniki. Przy okazji płacisz mniej, bo nie przepuszczasz całego materiału przy każdym pytaniu.

Pułapka, o której mało kto mówi

Deklarowane okno kontekstu to nie to samo co okno, w którym model działa dobrze. To dwie różne liczby i producenci podają tylko pierwszą.

W praktyce jakość odpowiedzi spada, im bliżej limitu. Informacje ze środka bardzo długiego materiału są odnajdywane gorzej niż te z początku i końca - zjawisko znane jako gubienie środka. Model z oknem miliona tokenów, który przy 700 tysiącach zaczyna gubić fakty, jest gorszy od modelu z oknem 500 tysięcy, który do końca trzyma jakość.

Producent Groka 4.7 deklaruje zresztą wprost lepsze zarządzanie długim kontekstem jako jedną ze zmian wobec poprzednika - co sugeruje, że pracowali nad jakością wewnątrz okna, a nie nad jego rozmiarem.

Jak to sprawdzić u siebie w dziesięć minut

1. Weź materiał, z którym realnie pracujesz - swoją dokumentację, nie cudzy test.
2. Ukryj w nim pięć konkretnych faktów w różnych miejscach: na początku, w jednej czwartej, w połowie, w trzech czwartych i na końcu.
3. Zapytaj model o każdy z nich osobno, w osobnych rozmowach.
4. Policz trafienia według pozycji. Jeśli środek wypada gorzej, znasz swój realny limit.

Ten test zajmuje kwadrans i mówi o Twoim zastosowaniu więcej niż jakikolwiek benchmark. Robiłem go przy innej okazji i wynik mnie zaskoczył - ale to już osobna historia.

Ile kosztuje pełne okno

Ważna rzecz przy liczeniu budżetu: kontekst to tokeny wejściowe i płacisz za nie przy każdej wiadomości. I jest tu próg, który zmienia stawkę.

Powyżej 200 tysięcy tokenów w zapytaniu cennik przechodzi na stawkę długiego kontekstu - 4 USD za milion tokenów wejścia zamiast 2. Kluczowe: po przekroczeniu progu wyższa stawka obejmuje wszystkie tokeny zapytania, nie tylko nadwyżkę ponad próg.

Dwa środkowe wiersze różnią się o dwa tysiące tokenów, czyli około czterech stron - i o sto procent ceny. Dziesięć pytań do pełnego okna to około 76 złotych. Przy dłuższej rozmowie z dużym materiałem rachunek rośnie szybciej, niż większość ludzi się spodziewa - bo historia rozmowy doklejana jest za każdym razem, a po przekroczeniu progu każda kolejna wiadomość rozlicza cały kontekst po podwójnej stawce. Rozbieram ten mechanizm razem ze sposobami na jego obejście w osobnym tekście o progu 200 tysięcy tokenów.

Trzy zasady pracy z dużym kontekstem

1. Wrzucaj to, co potrzebne, nie wszystko. Mniejszy kontekst to lepsze odpowiedzi i niższy rachunek jednocześnie.
2. Nowy wątek na nowy temat. Długa rozmowa niesie całą historię przy każdej wiadomości.
3. Ważne rzeczy na początku i na końcu materiału. Środek jest odnajdywany najgorzej we wszystkich modelach.

Najczęstsze pytania

Ile wynosi kontekst Groka 4.7?

500 tysięcy tokenów, według oficjalnej dokumentacji. Tyle samo co w Groku 4.6 i 4.5.

Ile to jest stron?

Około tysiąca stron maszynopisu. Przy polskim tekście nieco mniej, bo polszczyzna zużywa więcej tokenów niż angielski.

Czy 500k to mało w porównaniu z modelami mającymi milion?

Dla większości zastosowań nie ma to znaczenia, bo tych limitów się nie dotyka. Różnica jest realna przy bardzo dużych bazach kodu i przy setkach dokumentów naraz.

Czy model wykorzystuje całe okno równie dobrze?

Żaden model tego nie robi. Informacje ze środka bardzo długiego materiału są odnajdywane gorzej niż z początku i końca. Sprawdź to własnym testem - opisałem go wyżej.

Ile kosztuje wypełnienie całego okna?

Około 7,56 zł za jedno zapytanie przy pełnych 500 tysiącach tokenów wejściowych - po stawce długiego kontekstu, czyli 4 USD za milion.

Od ilu tokenów Grok liczy drożej?

Od 200 tysięcy tokenów w zapytaniu. Po przekroczeniu progu wyższa stawka obejmuje wszystkie tokeny zapytania, nie tylko nadwyżkę.

// czytaj dalejSzkoła AI, lekcja 3: Zamień czat w eksperta od swojej sprawy - sztuczka z rolą i kontekstemPremiumCzym jest okno kontekstu?Zapytaj AIPróg 200 tysięcy tokenów: dlaczego rachunek za Groka potrafi się podwoićWarsztat