14 tysięcy tokenów myślenia nad opisem czajnika: gdy AI myśli za długo

👁 196 przeczytań

Model AI, który myśli za długo, potrafi zużyć cały limit tokenów i nie oddać ani słowa. W teście 16 modeli Qwen 3.8 Max myślał 14 460 tokenów nad opisem czajnika na 182 słowa, a wcześniej, przy limicie 6000, oddał pustą odpowiedź. Mistral Medium 3.5 zrobił to samo trzy razy. Policzyłem, ile każdy model rozumował w 13 zadaniach, ile to trwało i kosztowało, i czy dłuższe myślenie dało lepszy tekst.

Co to są tokeny rozumowania

Modele z rozumowaniem piszą przed odpowiedzią ukryty szkic: rozpisują polecenie, liczą słowa, poprawiają się. Te tokeny nie trafiają do odpowiedzi, ale są liczone i opłacane jak tokeny wyjścia. Test pokazał też, że wliczają się do limitu długości: gdy Qwen 3.8 Max zużył na rozumowanie 6000 z 6000 dostępnych tokenów, na sam tekst nie zostało nic.

Wszystkie modele dostały przez OpenRouter to samo ustawienie: reasoning effort=low, czyli prośbę o krótkie rozumowanie. Każdy model interpretuje je jednak po swojemu. Liczby pochodzą z pola usage, które zwraca API, więc pokazują to, za co zapłaciłem. Zadania i ranking opisałem w tekście który AI pisze najlepiej po polsku.

Kto ile myślał

Łącznie ocenione odpowiedzi zawierały 223 688 tokenów rozumowania na 341 060 tokenów wyjścia, czyli 65,6%. Trzy z czterech najlepszych modeli w pisaniu (Sol, Astra, Fable) zmieściły się w tysiącu tokenów rozumowania na 13 zadań. DeepSeek V4 Pro myślał 5767 tokenów nad dziesięcioma tytułami SEO i dostał w tym zadaniu najniższą ocenę (4,67) za tytuł „Może mocy powinien mieć dobry odkurzacz bezworkowy”.

Czajnik za 14 460 tokenów

Zadanie było proste: akapit 120-150 słów i 5 korzyści z karty czajnika Nordvik K17. Qwen 3.8 Max w pierwszym podejściu, z limitem 6000 tokenów, przez 346,2 sekundy zużył wszystkie 6000 na rozumowanie i nie oddał tekstu. W drugiej próbie, z limitem 30 000, myślał 14 460 tokenów przez 288,9 sekundy. Razem ponad 10 minut i 0,1262 USD za jeden opis, który sędziowie ocenili na 6,44, bo akapit miał ok. 114 słów zamiast wymaganych 120. Sam ten opis to 51% kosztu wszystkich 9 zadań pisarskich Qwena. Dla porównania GPT-6 Sol rozumował nad tym samym poleceniem 43 tokeny, odpowiedział w 6,7 sekundy za 0,0042 USD i dostał 7,00.

Puste odpowiedzi przy limicie

Mistral Medium 3.5 w pierwszym podejściu oddał pusty tekst w trzech zadaniach: opisie, mailu i streszczeniu. Za każdym razem API zgłosiło koniec na limicie 6000 tokenów, z czego jako rozumowanie zaraportowało 4519, 3981 i 4097. W drugiej próbie, z limitem 30 000, mail do klienta kosztował 11 172 tokeny wyjścia (6789 rozumowania), a gotowy mail ma 43 słowa. Skrypt przy pustej odpowiedzi ponawia pytanie do trzech razy, zanim zapisze wynik. Zapisany czas pierwszych podejść (u Mistrala 113,7-130,6 s, u Qwena 346,2 s) obejmuje więc wszystkie ponowienia, a zapisany koszt tylko ostatnie.

Gorsze od pustej odpowiedzi bywa ucięcie w pół zdania, bo łatwo go nie zauważyć. DeepSeek V4.1 Flash w opisie czajnika zużył 5857 z 6000 tokenów na rozumowanie i oddał 70 słów bez listy korzyści, z powtórzeniami i urwanym ostatnim zdaniem. Mistral urwał post na LinkedIn na słowach „przede wszystkim z”. Oba teksty poszły do oceny tak, jak przyszły: 3,33 i 5,11 na 10. Podobne przypadki opisałem wcześniej w teście chińskich modeli.

Ta sama prośba, dwa różne przebiegi

DeepSeek V4.1 Flash w trudnym quizie o Polsce przy pierwszym podejściu wykorzystał 8970 z 9000 tokenów na rozumowanie i oddał tylko trzy odpowiedzi z 48. Druga próba z tym samym poleceniem: 3171 tokenów rozumowania i 47 poprawnych odpowiedzi. Oba przebiegi obsłużyli różni dostawcy (Novita i DeepInfra), bo OpenRouter sam kieruje zapytania do firm hostujących model. Podobnie nierówno myśli Kimi K3: w większości zadań 5-30 tokenów, w trudnej korekcie 4298 tokenów i 117,4 sekundy. Wyniki quizu opisuję w tekście czy AI zna Polskę, a korekty w teście korekty.

Ile kosztuje nadmiarowe myślenie

• Puste i ucięte próby kosztowały 0,1833 USD (ok. 0,71 zł): 3% kosztu całego testu (6,12 USD) i 45 razy więcej niż GPT-6 Luna za wszystkie 13 zadań (0,0041 USD).
• Mistral Medium 3.5 był najdroższy w pisaniu (0,4394 USD za 9 zadań) i zajął 14. miejsce na 16. Za 13 zadań zapłaciłem 0,638 USD, więcej niż za Claude Fable 5.1 (0,5426 USD).
• Czas: Mistral i Qwen potrzebowały na 13 zadań 844,9 i 750,9 sekundy, GLM-5.3 49,9 sekundy, a GPT-6 Luna 70,1.

Ten sam efekt, czyli więcej tokenów bez lepszego wyniku, widziałem przy porównaniu trybów Wysoki i Ultra w GPT-6 Astra.

Jak się bronić

W API:

• ustaw limit tokenów z zapasem na rozumowanie; w tym teście 6000 nie wystarczyło Mistralowi na 43-słowny mail,
• sprawdzaj, czy odpowiedź nie skończyła się na limicie (finish_reason „length”) i czy nie jest pusta; ucięty tekst odrzucaj tak samo jak pusty,
• zapisuj z pola usage liczbę tokenów rozumowania, żeby widzieć, który model przepala budżet,
• ustaw timeout i plan B: druga próba z wyższym limitem albo innym modelem,
• do krótkich tekstów wybieraj modele, które rozumują oszczędnie; w tym teście Sol, Astra i Fable zmieściły się w tysiącu tokenów na 13 zadań.

W czacie: długo kręcący się wskaźnik myślenia nie oznacza lepszej odpowiedzi. Jeśli model myśli minutami nad prostym mailem, przerwij i zapytaj jeszcze raz albo przełącz go w szybszy tryb. To opinia redakcji.

Najczęstsze pytania

Dlaczego AI zwraca pustą odpowiedź?

Najczęściej dlatego, że zużył cały limit tokenów na rozumowanie. W teście Qwen 3.8 Max wydał 6000 z 6000 tokenów na myślenie nad opisem czajnika i nie oddał tekstu.

Czy dłuższe myślenie AI daje lepszy tekst?

W tym teście nie. Korelacja rang między sumą tokenów rozumowania a wynikiem pisania 16 modeli wyniosła -0,34, a najwięcej myślący Mistral Medium 3.5 zajął 14. miejsce.

Czy tokeny rozumowania są płatne?

Tak, rozliczane są jak tokeny wyjścia. Qwen 3.8 Max zapłacił za opis czajnika w dwóch próbach 0,1262 USD, a GPT-6 Sol za ten sam opis 0,0042 USD.

Jaki limit tokenów ustawić w API?

Z zapasem na rozumowanie. Przy effort=low limit 6000 nie wystarczył Mistralowi w trzech zadaniach, a z limitem 30 000 najdłuższa odpowiedź zajęła 14 852 tokeny.

Czytaj teżDziesięć tysięcy agentów, 88 godzin, 130 miliardów tokenów. Ile kosztował dowód wart miliona dolarówArtykułyPróg 200 tysięcy tokenów: dlaczego rachunek za Groka potrafi się podwoićWarsztat500 tysięcy tokenów kontekstu w Groku 4.7: co się w to mieści naprawdęWarsztat

Link do Kimi jest partnerski: jeśli kupisz przez niego, serwis dostaje prowizję, a Ty płacisz tyle samo. Nie wpływa to na treść, także tam, gdzie piszę krytycznie.