Test Claude Fable 5.2 i Mythos 5.2: sprawdziłem kod, polski, rozumowanie i szybkość

👁 125 przeczytań

O 20:20 w poniedziałek, 9 listopada 2026 roku, wysłałem pierwsze zapytanie do Claude Fable 5.2. Model był już w OpenRouterze pod identyfikatorem anthropic/claude-fable-5.2, z ceną 8 dolarów za milion tokenów wejścia i 40 dolarów za milion tokenów wyjścia. Mnożenie 17 razy 23 policzył w 3 sekundy. Przez następne 27 minut puściłem przez niego i przez trzech rywali ten sam zestaw zadań: kod sprawdzany testami jednostkowymi, zagadki z jedną poprawną odpowiedzią, polskie teksty, obrazy i pomiar szybkości. Wyszło coś, czego się nie spodziewałem: w zadaniach z twardą odpowiedzią remis 100 do 100. Różnice wyszły gdzie indziej - w rachunku, w zegarze i w drobnych wpadkach, które mówią więcej niż procenty.

Mythosa 5.2 w tym teście nie ma. Nie ma go w OpenRouterze (sprawdzałem listę modeli na początku i na końcu testu), a Anthropic udostępnia go tylko uczestnikom Cyber Verification Program i Life Sciences Verification Program. Fable 5.2 i Mythos 5.2 to według ogłoszenia ten sam model bazowy, różniący się zabezpieczeniami w cyberbezpieczeństwie i biologii, więc wyniki Fable dobrze opisują to, co zwykły użytkownik może dziś kupić. Szczegóły premiery, cennik w złotówkach i różnice między obiema wersjami opisałem w przewodniku po Claude Fable 5.2 i w tekście o Mythos 5.2.

Co dokładnie sprawdziłem

Każdy z czterech modeli dostał te same 27 zadań, w tej samej treści, przez to samo API (OpenRouter), z tym samym ustawieniem rozumowania: effort „medium”. To poziom, który Anthropic ustawił domyślnie dla Fable 5.2 w aplikacjach Claude. Rywale to Claude Opus 5.5, czyli poprzedni flagowiec Anthropic, oraz GPT-6.1 Sol i Gemini 4 Argon, czyli najpopularniejsze modele OpenAI i Google w tej samej półce cenowej co Opus.

• Kod, 6 zadań: parser zapisu czasu („2h15m10s”), najkrótsza ścieżka w labiryncie z jednym przebiciem ściany (plansza do 300 na 300 pól), naprawa zepsutego cache LRU, refaktor funkcji liczącej fakturę z warunkiem identycznego zachowania, wyszukiwanie dat wyrażeniami regularnymi (także „9 listopada 2026 r.”) i zapytanie SQL z pułapkami (rabaty, zamówienia bez pozycji, status „PAID” pisany wielkimi literami). Razem 76 testów uruchamianych lokalnie w Pythonie.
• Rozumowanie, 8 zagadek z jedną odpowiedzią: rycerze i kłamcy, chłopiec urodzony we wtorek, wskazówki zegara, reszty z dzielenia, piątki trzynastego w 2027 roku i dwie polskie zagadki z haczykiem („pół tuzina tuzinów podzielone przez pół” oraz liczenie liter „z” w „Zażółć gęślą jaźń”, gdzie ż i ź się nie liczą).
• Polski, 3 teksty: e-mail do urzędu skarbowego o zaległy zwrot PIT, streszczenie artykułu w maksymalnie 70 słowach i tekst na stronę palarni kawy bez reklamowych frazesów.
• Wizja, 3 obrazy wygenerowane przeze mnie w Pythonie: wykres słupkowy, zrzut tabeli z arkusza i „zdjęcie” paragonu, przekrzywione i zaszumione, z 10 pytaniami.
• Szybkość: 3 prompty (esej na 500 słów, kod kolejki priorytetowej, tłumaczenie) po dwa razy, w strumieniu, z pomiarem czasu do pierwszego tokenu.

Gdy pierwsza runda dała wszystkim komplet punktów, dołożyłem rundę trudną: kalkulator wyrażeń na dokładnych ułamkach z 33 testami (pułapki typu -2^2 = -4 i 2^3^2 = 512), zapis kwoty słownie jak na polskiej fakturze z 27 testami („tysiąc jeden złotych”, „dwadzieścia dwa złote”, „sto jeden tysięcy”) i pięć zadań, których nie da się zgadnąć: liczba dni roboczych w Polsce w 2027 roku (z Wigilią, wolną od tego roku), ustawienia liter słowa KAJAKARZ, pięciocyfrowe palindromy pierwsze, wariant Monty Halla z prowadzącym, który nie wie, gdzie jest samochód, i data tysięcznego dnia od 9 listopada 2026.

Wyniki: remis tam, gdzie jest jedna odpowiedź

* Gemini za każdym razem owinął JSON w blok kodu Markdown. ** Sędzią był GPT-6.1 Sol, który oceniał też swój tekst - o tym niżej. Koszty według stawek OpenRouter z 9.11.2026, przeliczone przez API dla każdego zapytania.

Wszystkie cztery modele zaliczyły wszystkie 136 testów kodu, wszystkie 13 zagadek i wszystkie 10 pytań do obrazów. Nawet palindromy pierwsze, które bez uruchamiania kodu trzeba policzyć w głowie (jest ich 93), i 253 dni robocze w 2027 roku. Paragon, na którym kwoty przez przekrzywienie zdjęcia wypadają o pół linijki niżej niż nazwy produktów, każdy odczytał bezbłędnie: 81,03 zł, mleko za 7,58 zł, NIP i 7 pozycji. Fable 5.2 w żadnym zadaniu nie był gorszy od Opus 5.5, ale w żadnym nie był też lepszy.

Nie znaczy to, że Fable 5.2 nie jest mocniejszy. Ogłoszenie pokazuje przewagę w zadaniach agentowych, wielogodzinnych i wieloetapowych, na przykład 49,1 procent w FrontierCode 2.0 (przy najwyższym poziomie effort) wobec 45,5 procent dla Opus 5.5. Mój zestaw tego nie mierzy: to pojedyncze polecenia, takie, jakie zwykły użytkownik wpisuje w okno czatu albo wysyła przez API. I w takich zadaniach najnowsza generacja modeli doszła do sufitu, na którym tani GPT-6.1 Sol stoi obok drogiego Fable.

Gdzie Fable 5.2 się wyróżnia: zegar

Anthropic pisze, że Fable 5.2 i Mythos 5.2 generują odpowiedzi do 30 procent szybciej niż wersje 5.1. To jedna z niewielu obietnic z ogłoszenia, którą mogłem sprawdzić wprost, więc do pomiaru szybkości dołożyłem Fable 5.1.

Gdy porównałem tylko zapytania obsłużone przez tę samą infrastrukturę Anthropic, Fable 5.2 pisał esej z prędkością 101-103 tokenów na sekundę, a Fable 5.1 - 69 tokenów. Przy kodzie było to 135-141 wobec 104 tokenów na sekundę. Liczony w czasie całego eseju zysk wynosi 27 procent, czyli mieści się w obietnicy „do 30 procent”. Esej Fable 5.2 kończył też o 2,7 sekundy szybciej niż Opus 5.5 i jako jedyny model Claude dotrzymywał kroku Gemini 4 Argon w pisaniu długiego tekstu (26,1 wobec 25,6 słowa na sekundę).

Tokeny na sekundę trzeba czytać ostrożnie między firmami, bo każda tnie tekst na tokeny inaczej: GPT-6.1 Sol potrzebował na esej około 1200 tokenów, modele Claude około 1700. Dlatego ważniejsza jest kolumna ze słowami na sekundę i czasem całkowitym. W czasie do pierwszego tokenu najlepszy był GPT-6.1 Sol (1,48 s), ale przy zadaniu z kodem jego czas skakał do ponad 8 sekund, bo model najpierw myślał.

Rachunek: dwa razy drożej za token, ale nie dwa razy drożej za zadanie

Fable 5.2 kosztuje dwa razy tyle co Opus 5.5 za każdy token (8 i 40 dolarów wobec 4 i 20 dolarów). W moim teście 27 zadań kosztowało jednak 0,75 USD wobec 0,52 USD, czyli 1,44 raza więcej. Powód widać w licznikach: Fable 5.2 zużył 16 434 tokeny wyjściowe, Opus 5.5 aż 23 839, z czego 11 316 na samo rozumowanie (Fable 5 069). Przy zagadce o resztach z dzielenia Opus wygenerował 749 tokenów, Fable 306, przy e-mailu do urzędu Opus 1662 tokeny na 143 słowa tekstu, Fable 544.

Po kursie NBP z 9 listopada (3,9199 zł za dolara) 27 zadań kosztowało: Fable 5.2 około 2,95 zł, Opus 5.5 około 2,06 zł, Gemini 4 Argon około 0,56 zł, a GPT-6.1 Sol około 0,45 zł. Fable jest więc 6,6 raza droższy od Sol przy identycznym wyniku w zadaniach z jedną odpowiedzią. Ten stosunek jest ważniejszy od każdego benchmarku, jeśli płacisz za API z własnej kieszeni.

Wpadki, które mówią najwięcej

Skoro wyniki punktowe się nie różnią, ciekawsze są potknięcia. Każdą sprawdziłem ręcznie.

Fable 5.2 pomylił przepis. W e-mailu do urzędu skarbowego powołał art. 77 § 1 pkt 5 Ordynacji podatkowej jako podstawę 45-dniowego terminu zwrotu. Tymczasem 45 dni dla zeznań złożonych elektronicznie to pkt 5a, a pkt 5 dotyczy zwrotu w ciągu 3 miesięcy przy zeznaniu papierowym (tekst art. 77). Ciekawe, że Opus 5.5 w swoim rozumowaniu napisał wprost, że zastanawia się, czy cytować konkretny artykuł, czy zostać przy ogólnym sformułowaniu, żeby nie pomylić odesłania. Wybrał ogólne.

Opus 5.5 pomylił datę. Ten sam e-mail Opus zakończył stwierdzeniem, że termin zwrotu „upłynął 31 marca 2026 r.”, licząc 45 dni od 14 lutego. Zeznanie PIT złożone przed 15 lutego uznaje się jednak za złożone 15 lutego (art. 45 ustawy o PIT), więc termin minął dzień później. Drobiazg, ale w piśmie do urzędu właśnie takie drobiazgi podważają resztę.

Fable 5.2 nie trzymał się formatu. Przy tabeli poprosiłem o odpowiedź wyłącznie w JSON. Fable najpierw wypisał wszystkie 10 iloczynów ilość razy cena, sumę i listę produktów z VAT 8 procent, a JSON dał na końcu. Odpowiedź była poprawna, ale program, który parsowałby ją automatycznie, by się wyłożył. W streszczeniu z limitem 70 słów Fable napisał 71 słów, Gemini 4 Argon 80.

Dwa modele Claude zapomniały nazwy marki. W tekście dla palarni kawy „Ziarnko” ani Fable 5.2, ani Opus 5.5 nie użyli nazwy Ziarnko. Oba dopisały też rzeczy, których w poleceniu nie było: datę palenia na każdej paczce, a Fable dodatkowo „infolinię, której zresztą nie mamy”. Brzmi to jak człowiek, ale to obietnica, której właściciel palarni mógł nie składać.

Polski: sędzia z konfliktem interesów

Teksty po polsku oceniał GPT-6.1 Sol, w ślepej próbie: dostawał cztery teksty oznaczone literami A-D w losowej kolejności, dwa razy na każde zadanie, z innym losowaniem. Miał wypisać błędy językowe z poprawkami i ocenić naturalność oraz wykonanie polecenia w skali 1-10.

Sędzia postawił na pierwszym miejscu tekst GPT-6.1 Sol w e-mailu i w tekście marketingowym, a Opus 5.5 w streszczeniu. Nie wiedział, który tekst jest czyj, ale modele mają skłonność do lubienia własnego stylu, więc ranking traktuję z dystansem. Moja ręczna weryfikacja potwierdza za to dwie rzeczy. Opus 5.5 pisze najczystszą polszczyznę: w trzech tekstach nie znalazłem żadnego błędu. Gemini 4 Argon pisze najsłabiej: „deklaracja PIT-37” zamiast zeznania, kalka „robi ogromną różnicę”, „oboje wiemy” w tekście do klienta i przekroczony limit słów. Fable 5.2 był pomiędzy - jeden przecinek w miejscu średnika i najbardziej ludzki ton w tekście marketingowym, ale też najwięcej dopisanych obietnic. Jedyny model, który użył nazwy Ziarnko i niczego nie dopisał, to GPT-6.1 Sol.

Jak liczyłem i czego ten test nie mówi

Wszystkie zapytania szły przez OpenRouter 9 listopada między 20:20 a 20:47. Fable 5.2 obsługiwała infrastruktura Anthropic, Opus 5.5 - Claude Platform on AWS, Sol - OpenAI, Argon - Google (raz Google AI Studio); Fable 5.1 w części pomiarów trafił do Azure i Google, dlatego porównanie 5.2 z 5.1 opieram na zapytaniach obsłużonych przez Anthropic. Kod uruchamiałem lokalnie w osobnym procesie z limitem czasu, odpowiedzi w zagadkach i wizji sprawdzał skrypt, a potem ja. Każde zadanie wykonałem raz (pomiar szybkości dwa razy), więc przy innym losowaniu model może się pomylić tam, gdzie u mnie się nie pomylił.

Cały test, z sędzią, kosztował 2,92 USD. Surowe dane, czyli wszystkie prompty, pełne odpowiedzi, kod napisany przez modele, wyniki testów, czasy, tokeny i koszty każdego zapytania, udostępniam w pliku wyniki.json. Fakty z ogłoszenia, ceny i benchmarki producenta zebrałem w tekście o premierze Fable 5.2 i Mythos 5.2, porównanie cen i benchmarków producenta w tekście Fable 5.2 kontra Opus 5.5, a starsze zestawienie w tekście Claude Opus 5.5 kontra Fable 5.1.

Mój wniosek po wieczorze z czterema modelami: do pojedynczych zadań, jakie zwykle wpisuje się w czat, Fable 5.2 nie daje lepszych odpowiedzi niż Opus 5.5, ani nawet niż GPT-6.1 Sol. Daje je szybciej i zużywa na nie mniej tokenów niż Opus, ale płaci się za nie najwięcej. Jego obiecana przewaga leży w długiej pracy agentowej, której jednym poleceniem nie sprawdzisz. Tę sprawdzę osobno.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Najczęstsze pytania

Czy Claude Fable 5.2 jest lepszy od Opus 5.5?

W moich 27 zadaniach z jedną poprawną odpowiedzią oba modele zdobyły komplet punktów. Fable 5.2 był szybszy (esej w 19,1 s wobec 21,8 s) i zużył mniej tokenów, ale kosztował 0,75 USD wobec 0,52 USD. Przewagę z ogłoszenia Anthropic pokazuje w długich zadaniach agentowych, których ten test nie obejmował.

Czy Fable 5.2 naprawdę jest o 30% szybszy od Fable 5.1?

W moim pomiarze esej na 500 słów powstawał w 19,1 s zamiast 26,2 s, czyli o 27 procent krócej. Przy porównaniu na tej samej infrastrukturze Anthropic tempo generowania wzrosło z 69 do 101-103 tokenów na sekundę przy eseju i ze 104 do 135-141 przy kodzie.

Czy można przetestować Claude Mythos 5.2?

Nie w zwykły sposób. Mythos 5.2 nie jest dostępny w OpenRouterze, a Anthropic udostępnia go przez Cyber Verification Program i Life Sciences Verification Program. Dlatego w tym teście go nie ma.

Ile kosztuje używanie Fable 5.2 przez API?

8 USD za milion tokenów wejścia i 40 USD za milion tokenów wyjścia, dwa razy więcej niż Opus 5.5. W moim teście średnie zadanie kosztowało około 2,8 centa, przy GPT-6.1 Sol około 0,4 centa.