Próg 200 tysięcy tokenów: dlaczego rachunek za Groka potrafi się podwoić

👁 115 przeczytań

W cenniku Groka jest próg, który potrafi podwoić rachunek w jednej chwili - i nie ma go w żadnym polskim opracowaniu, które znalazłem. Po przekroczeniu 200 tysięcy tokenów w zapytaniu wszystkie tokeny tego zapytania liczą się po wyższej stawce. Nie tylko te powyżej progu. Wszystkie.

Jak wygląda cennik naprawdę

Te same progi i mnożniki obowiązują w Groku 4.6 i 4.5. W starszych 4.3 oraz w rodzinie 4.20 stawki są niższe (1,25 i 2,50 USD), ale mechanizm identyczny.

Skok na progu w liczbach

Policzmy sam koszt wejścia, bez odpowiedzi modelu:

Między trzecim a drugim wierszem jest dwa tysiące tokenów, czyli mniej więcej cztery strony tekstu. I stuprocentowy wzrost ceny. To nie jest błąd w tabeli - to sposób, w jaki producent opisał rozliczenie w dokumentacji.

Dlaczego to boli bardziej, niż wygląda

Trzy powody, dla których ten próg jest groźniejszy niż zwykła podwyżka stawki:

1. Historia rozmowy doklejana jest do każdego zapytania. Nie musisz wrzucić 200 tysięcy tokenów naraz - wystarczy, że rozmowa do nich urośnie. Wtedy każda kolejna wiadomość, nawet jednozdaniowa, rozlicza cały kontekst po podwójnej stawce.
2. Tokeny rozumowania też się liczą. Producent wymienia je wprost wśród rozliczanych typów tokenów, obok wejściowych, wyjściowych, obrazowych i tych z pamięci podręcznej. Wyższy tryb rozumowania to więcej tokenów, a przy długim kontekście po podwójnej cenie.
3. Przekroczenie progu jest niewidoczne. Model nie ostrzega. Zobaczysz to dopiero na rachunku.

Cztery rzeczy, które realnie obniżają rachunek

1. Trzymaj zapytania pod progiem świadomie

Jeśli Twój materiał ma 230 tysięcy tokenów, podzielenie go na dwie części po 115 tysięcy daje 2 × 0,23 USD = 0,46 USD zamiast 0,92 USD za jedno zapytanie. Połowa ceny za tę samą treść. Podział ma sens zawsze, gdy zadanie da się wykonać na częściach.

2. Korzystaj z pamięci podręcznej promptu

Tokeny obsłużone z pamięci podręcznej kosztują 0,50 USD zamiast 2 USD - są czterokrotnie tańsze. To ma znaczenie, gdy przy każdym zapytaniu wysyłasz tę samą instrukcję systemową albo ten sam materiał referencyjny. Stała część promptu powinna być na początku i się nie zmieniać, bo to ona trafia do pamięci podręcznej.

3. Nie ustawiaj najwyższego rozumowania domyślnie

Rozumowanie w Groku 4.7 jest konfigurowalne, a jego tokeny są rozliczane jak wyjściowe - czyli po 6 USD, a przy długim kontekście po 12. To najszybszy sposób na rachunek, którego się nie spodziewasz.

4. Sprawdź, z którego punktu końcowego korzystasz

To jest pozycja, o której prawie nikt nie pisze: zapytania kierowane do amerykańskiego punktu końcowego rozliczane są z dziesięcioprocentową dopłatą wobec stawek globalnych. Jeśli nie masz wymogu, żeby wnioskowanie odbywało się w USA, ta dopłata jest czystą stratą.

Kiedy długi kontekst i tak się opłaca

Nie chcę zniechęcać do dużych zapytań - są zadania, w których podział materiału psuje wynik. To jest opinia poparta praktyką: zadania wymagające zestawienia całości, na przykład znalezienie sprzeczności między dwoma odległymi fragmentami dokumentu, wykonane na częściach po prostu nie zadziałają, bo model nigdy nie widzi obu fragmentów naraz.

W takich przypadkach podwójna stawka jest ceną za wynik, którego inaczej nie ma. Warto tylko wiedzieć, że się ją płaci. Więcej o tym, co realnie mieści się w oknie i gdzie leży granica użyteczności, w tekście o oknie 500 tysięcy tokenów.

Szybki test: ile kosztuje Twoja typowa rozmowa

1. Weź swoje najdłuższe realne zapytanie i policz jego znaki. Podziel przez 4 - dostaniesz przybliżoną liczbę tokenów dla polskiego tekstu.
2. Jeśli wynik jest powyżej 200 tysięcy, mnóż stawki przez dwa.
3. Pomnóż przez liczbę zapytań w miesiącu.
4. Porównaj z ceną abonamentu - 30 USD za SuperGroka. Szczegóły planów zebrałem w osobnym zestawieniu.

Przelicznik cztery znaki na token jest przybliżeniem dla polszczyzny i zawyża lub zaniża wynik zależnie od tekstu. Do decyzji budżetowej wystarcza, do fakturowania klienta - nie.

Najczęstsze pytania

Od ilu tokenów Grok liczy drożej?

Od 200 tysięcy tokenów w zapytaniu. Powyżej tego progu wszystkie tokeny zapytania rozliczane są po stawce długiego kontekstu.

Czy drożej liczona jest tylko nadwyżka ponad próg?

Nie. Dokumentacja mówi wprost, że stawka długiego kontekstu obejmuje wszystkie tokeny w zapytaniu, gdy prompt osiągnie próg.

Ile kosztuje pełne okno 500 tysięcy tokenów?

2,00 USD za samo wejście, czyli około 7,56 zł - po stawce długiego kontekstu 4 USD za milion.

Czy tokeny z pamięci podręcznej też drożeją?

Tak, z 0,50 na 1,00 USD za milion. Proporcja się nie zmienia - nadal są czterokrotnie tańsze od zwykłego wejścia.

Czy da się uniknąć podwójnej stawki?

Tak, dzieląc materiał na części poniżej progu. Nie zadziała to przy zadaniach wymagających zestawienia całego materiału naraz.

Co to za dopłata za amerykański punkt końcowy?

Zapytania kierowane do regionalnego punktu końcowego w USA rozliczane są ze stawką wyższą o 10 procent wobec globalnej.