Qwen3.8-Max w benchmarkach: gdzie wygrywa, a gdzie wyraźnie przegrywa

👁 237 przeczytań

Zapowiedź Qwen3.8-Max mówi, że model bije Claude Fable 5 i GPT-5.6 Sol w siedmiu ewaluacjach. To prawda. Problem w tym, że ewaluacji jest znacznie więcej niż siedem, a w kilku pozostałych model przegrywa tak wyraźnie, że warto o tym wiedzieć, zanim przestawi się na niego produkcję. Zebrałem wszystkie wyniki, do których udało mi się dotrzeć, i posortowałem je uczciwie: osobno wygrane, osobno porażki.

Najpierw jedna liczba, która ustawia perspektywę

W niezależnym zestawieniu obejmującym 215 modeli Qwen3.8-Max zajmuje 31. miejsce z wynikiem ogólnym 65,4 na 100. To bardzo dobry wynik, ale nie jest to szczyt tabeli. Model jest przy tym wyjątkowo nierówny: w jednej kategorii jest drugi na świecie, w innej dwudziesty piąty. Średnia zaciera to, co najciekawsze.

Tam, gdzie wygrywa

Dwie rzeczy warto tu zauważyć. Po pierwsze, IFBench. Przewaga 82,8 wobec 63,5 dla Fable 5 to nie jest niuans, tylko przepaść, a chodzi o rzecz najbardziej praktyczną z możliwych: czy model robi to, o co go poprosiłeś, czy to, co uznał za lepsze. Po drugie, cała grupa testów wizualnych. MathVision, CharXiv, AndroidBench. Model naprawdę dobrze czyta obrazy, wykresy i ekrany.

Tam, gdzie przegrywa

Popatrz na trzy pozycje ze środka tabeli: deepSwe, SWE-bench Pro i FrontierSWE. To są testy, które sprawdzają realne poprawianie kodu w prawdziwych repozytoriach, a nie rozwiązywanie zadanek. We wszystkich trzech Qwen3.8-Max jest wyraźnie za czołówką. Przy modelu reklamowanym jako narzędzie do wielodniowego samodzielnego programowania to jest napięcie, którego nie da się zbyć.

Wynik, który wygląda na błąd

OSWorld 2.0: 19,4 punktu, przy 70,6 dla Claude Opus 5. Ta sama rodzina testów, w której model osiąga 86,1 w wersji Verified i jest w niej najlepszy w stawce.

Różnica 51 punktów między dwiema wersjami tego samego benchmarku prawie nigdy nie oznacza, że model coś potrafi w jednej wersji, a nie potrafi w drugiej. Zwykle oznacza problem z konfiguracją, ze środowiskiem albo z tym, jak model został podpięty do testu. Zostawiam to w tabeli, bo nie moją rolą jest ukrywanie niewygodnych liczb, ale traktowałbym je jako sygnał do sprawdzenia, a nie jako werdykt.

Jak czytać to wszystko razem

Wyłania się z tego dość spójny obraz, tylko inny niż w komunikacie prasowym. Qwen3.8-Max jest bardzo mocny w rozumowaniu, w pracy z obrazem, w długim kontekście i w posłuszeństwie wobec instrukcji. Jest przeciętny w twardym programowaniu i wyraźnie słabszy od czołówki w testach szerokiej wiedzy.

To nie jest model gorszy. To jest model o innym profilu. I dokładnie dlatego zdanie „bije Fable 5 i GPT-5.6 Sol” jest prawdziwe i mylące jednocześnie: prawdziwe w siedmiu testach, mylące jako opis całości.

Czego w tych liczbach nie ma

Trzy zastrzeżenia, które sam sobie stawiam przy każdej takiej tabeli.

Po pierwsze, Alibaba nie opublikowała pełnej tabeli benchmarków. Wyniki krążą po serwisach technicznych, ale bez oficjalnego zestawienia i bez metodologii. To znaczy, że część z nich może pochodzić z różnych konfiguracji.

Po drugie, spektakularne opowieści o dziesięciu dniach samodzielnego kodowania i o pobiciu publikacji naukowej o 2,7 punktu na AIME24 pochodzą wyłącznie z testów wewnętrznych producenta. Nikt ich na razie nie powtórzył.

Po trzecie, żaden benchmark nie mierzy tego, co interesuje Cię najbardziej, czyli czy model poradzi sobie z Twoim zadaniem, w Twoim języku, na Twoich danych. Polskiego nie ma w żadnym z tych testów. Sam sprawdzę to w swoim teście długiego kontekstu po polsku i wrócę z wynikiem, kiedy model trafi do OpenRoutera.

Do tego czasu traktowałbym te tabele tak, jak traktuje się dane katalogowe samochodu. Mówią sporo o tym, czego się spodziewać, i nic o tym, jak się nim jeździ.

// czytaj dalejJak i gdzie korzystać z Qwen3.8-Max. Stan na dziśQwenPrzeczytałem wszystkie benchmarki GPT-6 Astra. Są trzy, w których przegrywaMagazynCisi przegrani rewolucji AI. Gdzie podziali się ludzie, których pracę już zjedliśmy?Magazyn