Test otwartych modeli po polsku: DeepSeek i Nemotron 12/12, Muse Spark Open i Step 5 gubią odpowiedzi

👁 118 przeczytań

W ciągu trzech dni, od 15 do 17 października 2026, wyszły cztery duże modele z otwartymi wagami: Muse Spark Open od Mety, DeepSeek V4.1 Flash 1017, wagi Step 5 od StepFun i Nemotron 3.5 Super VL od Nvidii. Benchmarki producentów mówią niewiele o tym, jak radzą sobie z polskim. 19 października sprawdziłem je więc sam, na 12 krótkich zadaniach po polsku z jedną poprawną odpowiedzią. Najlepiej wypadły dwa najtańsze modele, a dwa najdroższe kilka razy utknęły w rozumowaniu i nie oddały odpowiedzi.

Jak testowałem

Każdy model dostał te same 12 poleceń przez API OpenRoutera, z temperaturą 0 i limitem 6000 tokenów na odpowiedź, łącznie z rozumowaniem. Każde zadanie raz. OpenRouter sam wybierał dostawcę, więc jedno zapytanie mogło trafić do innego serwera niż następne. Odpowiedzi oceniał skrypt, który porównywał je z poprawnym wynikiem, bez mojej oceny „na oko”. Zadania:

• rachunek 37 × 48 - 125;
• dopełniacz liczby mnogiej słowa „przyjaciel”;
• liczba liter „ż” w zdaniu „Żaba żuje żółtą żelkę na plaży”;
• wyciągnięcie NIP, kwoty brutto i daty z opisu faktury do JSON;
• cyfra kontrolna numeru PESEL;
• prosta zagadka logiczna o czterech osobach;
• dzień tygodnia 11 listopada 1918 roku;
• dokładnie trzy słowa o jesieni, małymi literami, bez kropki;
• liczba województw w Polsce;
• liczba sekund w 2,5 godziny;
• poprawienie zdania „Wziąść parasol bo napewno bedzie padać.”;
• następna liczba w ciągu 2, 6, 12, 20, 30.

Jedną rzecz poprawiłem po teście. Przy zdaniu z błędami skrypt oczekiwał słowa „wziąć”, a trzy modele napisały „Weź parasol, bo na pewno będzie padać.”. To też poprawne zdanie, więc liczę je jako dobrą odpowiedź. Bez tej poprawki każdy z trzech modeli miałby o punkt mniej.

Wyniki

Różnica w zużyciu tokenów była większa niż w wynikach. Na 12 zadań DeepSeek wygenerował łącznie 1283 tokeny, Nemotron 3868, Muse Spark Open 12 241, a Step 5 19 672. Najdłuższe pojedyncze odpowiedzi trwały: DeepSeek 2,4 s, Nemotron 11,7 s, Muse Spark Open 126,3 s, Step 5 230,1 s.

Gdzie modele się wyłożyły

• Muse Spark Open - przy przeliczeniu 2,5 godziny na sekundy rozumował przez ponad dwie minuty, zużył cały limit 6000 tokenów i nie napisał wyniku. Pozostałe 11 zadań rozwiązał bez błędu, także JSON z faktury i cyfrę kontrolną PESEL.
• Step 5 Preview - trzy puste odpowiedzi: przy trzech słowach o jesieni, przy liczbie województw i przy poprawianiu zdania. Za każdym razem model wyczerpał limit tokenów na rozumowanie. To samo zjawisko widziałem 9 października w teście Step 5 na 13 zadaniach, gdzie też trzy odpowiedzi wróciły puste.
• DeepSeek i Nemotron - bez błędów. Nemotron przy dniu tygodnia z 1918 roku zużył 944 tokeny, ale odpowiedział dobrze.

Co z tego wynika

• W prostych zadaniach po polsku wszystkie cztery modele są poprawne, a różnicę robi to, czy model umie przestać myśleć. Puste odpowiedzi po kilku minutach w aplikacji są gorsze niż zła odpowiedź po sekundzie.
• Jeśli używasz Muse Spark Open albo Step 5 przez API, ustaw wyższy limit tokenów albo wyłącz długie rozumowanie przy prostych pytaniach.
• Do prostych zadań po polsku najtańszy był DeepSeek V4.1 Flash 1017, a Nemotron 3.5 Super VL ma darmowy wariant na OpenRouterze z limitami.
• Ten test nie mierzy programowania, długiego kontekstu ani pracy agentów, w których Muse Spark Open i Step 5 mają według producentów mocne strony.

Ceny modeli z testu

Ceny z OpenRoutera z 19.10.2026, przeliczone po kursie NBP z 16.10 (3,8827 zł). Opisy każdej premiery: Muse Spark Open, DeepSeek V4.1 Flash 1017, wagi Step 5, Nemotron 3.5 Super VL. Wszystko razem: Otwarte modele AI - październik 2026.