Step 5 po polsku: test na 13 zadaniach i 3 pustych odpowiedziach

👁 118 przeczytań

Sprawdziłem, jak nowy chiński model Step 5 Preview od StepFun radzi sobie z polskim. Na 13 zadaniach mojego Laboratorium zdobył 65,4 pkt, czyli tyle co GLM-5.3 i o 15 mniej niż GPT-6 Luna. Polszczyzna w krótkich formach jest poprawna, quiz z polskich realiów zdał bezbłędnie, ale w trzech zadaniach nie oddał ani słowa, bo przemyślał cały limit tokenów. Poniżej wszystkie zadania, oceny sędziów i cytaty.

Jak testowałem

Step 5 dostał dokładnie te same polecenia co wszystkie modele w Laboratorium Promptowym i w Arenie modeli po polsku:

• 9 zadań pisarskich: artykuł o oszczędzaniu prądu, opis czajnika z karty produktu, mail z przeprosinami, post na LinkedIn, opowiadanie w konwencji realizmu magicznego, 10 tytułów SEO, streszczenie notatki w 5 punktach, wyjaśnienie inflacji dla 12-latka, tłumaczenie z angielskiego bez kalek idiomów;
• 2 korekty: łatwa (22 błędy) i trudna (30 błędów);
• 2 quizy: łatwy (46 pytań) i trudny (48 pytań) z polskiej historii, geografii i języka.

Teksty oceniali na ślepo dwaj sędziowie: Claude Opus 5.5 i GPT-6 Sol. Dostawali odpowiedzi pięciu modeli pod losowymi kodami i wystawiali oceny 1-10 za poprawność, naturalność i wykonanie polecenia. Korekty i quizy liczy skrypt. Żeby wynik był porównywalny z tabelą Laboratorium, w tej samej puli ocenione zostały cztery modele-kotwice (Opus 5.5, GPT-6 Luna, Qwen3.8 Max, GLM-5.3), a skala przesunęła się o 0,78 pkt.

Wyniki

Problem numer jeden: puste odpowiedzi

Step 5 ma obowiązkowe rozumowanie i nawet na najniższym poziomie low myśli długo. W opisie produktu wygenerował 6000 tokenów, w łatwej korekcie 6000, w trudnej 8000 - za każdym razem do limitu i bez jednego słowa odpowiedzi. Skrypt próbował trzy razy, efekt był ten sam. W trudnym quizie limit 9000 tokenów wystarczył na odpowiedzi do 11 pytań z 48.

Żeby sprawdzić, czy to tylko kwestia budżetu, łatwą korektę powtórzyłem raz z limitem 16 tys. tokenów. Model myślał 4902 tokeny (ok. 16 tys. znaków rozumowania), po 96 sekundach oddał tekst i poprawił 19 z 22 błędów. Przepuścił trzy:

• „nikt się niepoddał” zamiast „nie poddał”,
• „na pułkach” zamiast „na półkach”,
• „przyniósł tą książkę” zamiast „tę książkę”.

Dla porównania GPT-6 Luna i Claude Opus 5.5 poprawiają wszystkie 22, a GLM-5.3 21. Wniosek praktyczny: jeśli używasz Step 5 przez API, ustaw max_tokens na 12-16 tys. albo wyżej, nawet przy krótkich zadaniach. Do oficjalnego wyniku tej poprawki nie liczę - w Laboratorium wszyscy mają równe limity.

Co wyszło dobrze

Krótkie, rzeczowe formy. Mail do klienta o opóźnionej paczce sędziowie ocenili na 8,5, a GPT-6 Sol dał mu 10 za poprawność. Model zmieścił się w 59 słowach, podał przyczynę, nowy termin i kod rabatowy, niczego nie obiecał ponad polecenie:

bardzo przepraszamy za opóźnienie zamówienia nr 48213. Przesyłka utknęła w sortowni przewoźnika, przez co nie dotarła 29 września. Nowy termin doręczenia to 3 października.

Jedyne uwagi sędziów: dopisał niezamówioną linię „Temat” i niezgrabne „Szanowny Panie/Szanowna Pani”. Streszczenie notatki z zarządu (8,0) zmieściło się w 80 słowach i 5 punktach, choć według obu sędziów lekko przesunęło sens jednego zdania. Łatwy quiz z polskich realiów - 46 na 46, z wszystkimi sześcioma pytaniami-pułapkami.

Co wyszło słabo

Dłuższe teksty i proste wyjaśnienia. W tekście o inflacji dla 12-latka (5,3) pojawiło się zdanie, którego żaden z sędziów nie przepuścił:

Twoje oszczędności albo kieszonkowe mogą pozwolić kupić mniej, jeśli ceny wzrosną bardzo szybko.

W tym samym akapicie jest jeszcze „za tą samą kwotę” i „dzięki temu” przy negatywnym skutku. Opowiadanie o emerytowanej listonoszce (5,0) przekroczyło limit słów i miało obrazy w rodzaju „słońce z dwudziestu lat temu” albo bohaterkę, która „nosiła listy” ludzi. Artykuł o oszczędzaniu prądu (5,7) zawierał błędny rachunek: Claude Opus 5.5 wyliczył, że wentylator pracujący przez 1/6 czasu daje ok. 83% oszczędności, a nie 60%, jak napisał model.

W tłumaczeniu (8,0) wpadły kalki, których polecenie zabraniało: „nie jest żadną wielką nauką”, „dedykowany opiekun”, „piłka jest teraz po naszej stronie”. Tytuły SEO formalnie spełniały limit 60 znaków, ale według GPT-6 Sol połowa nie miała frazy w wymaganej formie, a „jak nie przegapić?” nie ma sensu.

Do tego półpauzy: 14,8 na 1000 słów. W opublikowanych tekstach trzeba je zamieniać.

Szybkość i koszt

Cena za token jest niska (1 / 2,70 USD), ale model zużywa tak dużo tokenów na rozumowanie, że w moim teście wyszedł prawie tak drogo jak Claude Opus 5.5 i dziesięć razy drożej niż GLM-5.3. Czas 683 s to suma zadań uruchamianych równolegle, z powtórkami pustych odpowiedzi; sama generacja szła z prędkością ok. 88 tokenów na sekundę.

Werdykt

Do pisania po polsku Step 5 Preview w tej wersji się nie nadaje: ma wynik GLM-5.3, a kosztuje dziesięć razy więcej. Mocne strony producent pokazuje gdzie indziej - w programowaniu, pracy agentowej i finansach, czego mój test nie mierzy. Jeśli chcesz pisać, weź GPT-6 Luna albo Kimi K3. Pełne porównanie z chińską konkurencją jest w tekście Step 5 vs Kimi K3, GLM-5.3, Qwen i DeepSeek. Test powtórzę po premierze pełnej wersji. To moja opinia na podstawie jednego przebiegu.