Kimi K3.1 Pro kontra Claude Opus 5.5 i GPT-6 Astra - test w języku polskim

👁 121 przeczytań

Sprawdziłem Kimi K3.1 Pro w 12 zadaniach po polsku: od pisma do urzędu przez tłumaczenie i kod po rachunki oraz wyszukiwanie informacji w długim tekście. Uzyskał 66/72 pkt. Poniżej zestawiam wynik z Claude Opus 5.5, GPT-6 Astra i pozostałymi modelami, pokazuję odpowiedzi i opisuję ograniczenia testu API.

• Kimi Pro i Highspeed: po 66/72 pkt, wspólne 5. miejsce wśród 8 konfiguracji.
• Claude Opus 5.5: 71,5/72; GPT-6 Astra: 70/72.
• Mocne strony w tej próbie: pismo formalne, rachunki i dane strukturalne. Słabsze: tłumaczenie, idiomy i korekta.
• Jedna próba na zadanie. To wynik konkretnego zestawu i endpointu API, nie uniwersalny ranking modeli.

Jak przebiegał test w języku polskim i jak oceniano modele

Wszystkie wywołania wykonałem 24 października 2026 roku przez OpenRouter, przy identycznych parametrach dla każdego uczestnika: ten sam prompt systemowy po polsku, parametr reasoning effort ustawiony na medium, limit max_tokens 16 000, włączony streaming oraz twarde wymuszenie konkretnego dostawcy (provider.only, bez fallbacku). Obowiązywała zasada jednej próby na zadanie (ponowienie zapytania dopuszczalne wyłącznie przy błędzie HTTP). Ze względu na to, że cały eksperyment szedł przez wywołania API na konkretnych endpointach, uzyskane wyniki nie stanowią dowodu na identyczne działanie konsumenckiej aplikacji webowej Kimi.

Każde z 12 zadań oceniano w skali 0-6 punktów (3 kryteria po 0-2 pkt) według wzorca spisanego przed uruchomieniem modeli, co daje maksymalnie 72 punkty. Część zadań sprawdzano w pełni automatycznie: rachunek w PLN z polskimi stawkami VAT 23/8/5% (z tolerancją 0,01 waluty), formatowanie dat i liczb (wyrażeniami regularnymi), zagadkę logiczną (5 pozycji x 3 kategorie z gwarancją jednego rozwiązania wśród 1,7 mln układów), wyciąg do JSON (parsowanie, klucze, kwota po rabacie, wartości null i boolean), fakty lokalne oraz 3 igły ukryte w ok. 28 tys. tokenów cl100k protokołów zebrań wspólnoty mieszkaniowej (aktualny kod do rowerowni zmieniany dwa razy z kodem do wózkowni jako dystraktorem, nazwisko osoby z drugiej zmiany oraz kara umowna właściwej firmy). W zadaniu z kodem (g) kryteria 1-2 badał automat uruchamiający skrypt w osobnym procesie python -I na ukrytych poprawnych i błędnych numerach PESEL, a w korekcie (l) pierwsze kryterium weryfikowało obecność 9 wzorcowych poprawek.

Zadania językowe (a, b, c, d w całości, kryterium 3 w zadaniu g dotyczące komentarzy w kodzie oraz kryteria 2-3 w zadaniu l) oceniali na ślepo dwaj sędziowie LLM z różnych rodzin: openai/gpt-6.1-sol oraz google/gemini-4-argon (z ustawieniem reasoning low). Sędziowie otrzymywali wszystkie odpowiedzi w losowej kolejności, bez nazw modeli, wraz z treścią zadania, wzorcem i kryteriami. Aby wykluczyć ocenianie własnej rodziny, odpowiedzi GPT-6 Astra oceniał wyłącznie Gemini 4 Argon, odpowiedzi Gemini 4 Argon oceniał wyłącznie GPT-6.1 Sol, natomiast wszystkie pozostałe modele - w tym Kimi K3.1 Pro i Claude Opus 5.5 - otrzymywały średnią ocen obu sędziów. Zgodność sędziów w całym badaniu wyniosła 89% identycznych ocen na 975 par kryteriów (różnica o 2 pkt wystąpiła w 0,2% przypadków).

Pełny ranking w języku polskim, szybkość i koszty API

Patrząc na tabelę, warto zachować chłodny dystans do drobnych różnic punktowych. Przy jednej próbie na zadanie przewaga Gemini 4 Argon (67,0 pkt) czy Qwen3.8 Max (67,5 pkt) nad Kimi K3.1 Pro (66,0 pkt) oraz przewaga Kimi nad DeepSeek V4.1 Flash (65,0 pkt) mieści się w przedziale 1-1,5 punktu, co w praktyce oznacza remis. Wyraźny dystans dzieli natomiast środek stawki od dwójki liderów: Claude Opus 5.5 (71,5 pkt) oraz GPT-6 Astra (70,0 pkt) wyprzedziły Kimi o 4 do 5,5 punktu, nie notując w polskim zestawie żadnej większej wpadki językowej.

Przykłady z polskiego testu - dokładne cytaty i oceny sędziów

1. Pismo do urzędu skarbowego (zadanie a - Kimi 6,0 / 6 pkt)

W pierwszym zadaniu należało sporządzić formalny wniosek o rozłożenie zaległości podatkowej PIT za 2025 rok na raty, skierowany do Naczelnika Urzędu Skarbowego w Kielcach. Kimi K3.1 Pro poradził sobie z tym zadaniem wzorcowo, przywołując właściwy przepis Ordynacji podatkowej i zachowując naturalny styl urzędowy:

Kielce, 24 października 2026 r.

Marek Zawadzki  
ul. Zagnańska 41/7  
25-528 Kielce

Naczelnik Urzędu Skarbowego  
w Kielcach

**Wniosek o rozłożenie zaległości podatkowej na raty**

Działając na podstawie art. 67a § 1 pkt 2 ustawy z dnia 29 sierpnia 1997 r. - Ordynacja podatkowa, wnoszę o rozłożenie na sześć miesięcznych rat zaległości w podatku dochodowym od osób fizycznych za 2025 rok w kwocie 8 460,00 zł wraz z odsetkami za zwłokę

Obaj sędziowie (GPT-6.1 Sol oraz Gemini 4 Argon) przyznali maksymalne noty [2, 2, 2], chwaląc kompletny układ pisma, bezbłędną podstawę prawną (art. 67a § 1 pkt 2), uwzględnienie wszystkich faktów z zadania (utrata pracy w marcu 2026 r., zasiłek dla bezrobotnych, koszty leczenia dziecka) oraz brak zmyśleń.

2. Tłumaczenie z pułapkami (zadanie d - Kimi 4,5 / 6 pkt vs Gemini 4 Argon 6,0 / 6 pkt)

Zadanie wymagało przekładu krótkich wypowiedzi potocznych z polskiego na angielski (część 1) oraz z angielskiego na polski (część 2), najeżonych fałszywymi przyjaciółmi i idiomami. W pierwszej części Kimi świetnie oddał polskie zwroty (np. pie in the sky, hauled me over the coals), ale w drugiej wpadł w klasyczną pułapkę słownikową:

1: My manager promised me a raise, but for now it’s just pie in the sky. I could always talk to the CEO, though he’s incredibly overbearing. He recently hauled me over the coals for a project that was-let’s face it-finished to perfection. I’m absolutely sick of it.

2: Właściwie nowy kierownik jest całkiem sympatyczny, ale potrafi być prawdziwym utrapieniem. Spróbuję, tylko nie licz za bardzo na sukces. W poniedziałek się skontaktujemy i zobaczymy, czy budżet okaże się przeszkodą nie do pokonania

Obaj sędziowie odjęli Kimi punkt w drugim kryterium za przetłumaczenie angielskiego sympathetic jako „sympatyczny” zamiast „wyrozumiały”. Dodatkowo sędzia Gemini 4 Argon obniżył ocenę w trzecim kryterium za zbyt oficjalny rejestr polskiej części („się skontaktujemy”, „przeszkoda nie do pokonania”).

3. Idiomy i gra słów (zadanie b - Kimi 4,5 / 6 pkt vs Gemini 4 Argon 6,0 / 6 pkt)

W zadaniu b modele musiały wyjaśnić cztery polskie idiomy i podać przykłady ich użycia, wytłumaczyć dwuznaczność słowa „zamek” oraz ułożyć własny żart oparty na wieloznaczności słowa „pióro”. W czwartym idiomie Kimi popełnił błąd fleksyjny w dopełniaczu po przeczeniu:

d) „Robić z igły widły”**  
Znaczenie: *wyolbrzymiać drobną sprawę, robić z niej wielki problem*.  
Przykład: „Spóźniłem się tylko pięć minut, więc nie rób z igły widły

Sędzia Gemini 4 Argon wychwycił błąd gramatyczny („nie rób z igły widły” zamiast poprawnego „wideł”), a obaj sędziowie zgodnie obcięli punkty w trzecim kryterium za ułożony przez Kimi żart z piórem wiecznym, wskazując, że odlot ptaka nie miał w nim czytelnego związku przyczynowego z zakupem przyboru do pisania.

Co ten wynik oznacza w praktyce i jakie są ograniczenia testu

• Jedna próba na zadanie nie pozwala ocenić zmienności. Różnice 1-2 pkt traktuję ostrożnie. Wiele zadań automatycznych okazało się łatwych dla wszystkich modeli.
• Zestaw przygotował agent Claude Opus 5.5, czyli model będący także rywalem. To potencjalne źródło stronniczości. Sędziowie AI również mogą się mylić.
• W całym badaniu standardowy endpoint Kimi dał 8 odpowiedzi nie na temat, ale żadnej w polskim zestawie. Pozostały one w rankingu. Diagnostyczne powtórki nie zastępują pierwszych odpowiedzi.
• Highspeed badano tylko po polsku. Identyczny wynik 66/72 nie dowodzi identycznego zachowania w innych językach. Próby diagnostyczne są zbyt małe, aby rozstrzygnąć przyczynę problemów endpointu standardowego.
• Zapytania wykonywano równolegle, więc czasy są orientacyjne. GPT-6 poza PL korzystał z endpointu flex. Test API nie jest testem aplikacji internetowej Kimi.

Najczęściej zadawane pytania (FAQ)

Jak wypadł Kimi K3.1 Pro w polskim teście na tle Claude Opus 5.5 i GPT-6 Astra?

W zestawie 12 polskich zadań Kimi K3.1 Pro zdobył 66,0 na 72 punkty (5. miejsce), ustępując Claude Opus 5.5 (71,5 pkt) oraz GPT-6 Astra (70,0 pkt). Kimi dorównał liderom w piśmie urzędowym i wszystkich sześciu zadaniach sprawdzanych automatycznie, ale stracił punkty na fałszywym przyjacielu w tłumaczeniu, idiomach, skąpych komentarzach w kodzie i nadmiarowym przecinku podczas korekty.

Czy wariant Kimi K3.1 Pro Highspeed daje lepszą jakość odpowiedzi po polsku niż zwykły Pro?

W moim polskim teście oba warianty uzyskały identyczny wynik jakościowy: 66,0 / 72 pkt (to te same wagi modelu różniące się sposobem serwowania). Różnica dotyczyła szybkości i ceny na OpenRouterze: Highspeed ukończył 12 zadań w 79 sekund (mediana 222 tok/s) za 0,365 USD, podczas gdy standardowy endpoint moonshotai/mxfp4 potrzebował 163 sekund (mediana 91 tok/s) i kosztował 0,189 USD.

Czy Kimi K3.1 Pro nadaje się do pisania polskich pism urzędowych i wyliczeń VAT?

W badanych zadaniach z tych dwóch kategorii model zdobył maksymalne oceny (po 6,0 / 6 pkt). Poprawnie sformułował wniosek o raty podatku PIT do Naczelnika Urzędu Skarbowego z powołaniem na art. 67a § 1 pkt 2 Ordynacji podatkowej i bezbłędnie przeliczył polski rachunek ze stawkami VAT 23%, 8% i 5%.

Czy w polskim teście zdarzyły się odpowiedzi Kimi po chińsku lub nie na temat?

Nie, w polskim zestawie wszystkie 12 odpowiedzi Kimi K3.1 Pro (zarówno na endpoincie moonshotai/mxfp4, jak i moonshotai/highspeed) było na temat i napisanych po polsku. Takie błędy serwowania (8 przypadków na 120 zadań, w tym wtrącenia po chińsku lub japońsku) wystąpiły wyłącznie w zestawach niemieckim, włoskim, tureckim i japońskim na endpoincie moonshotai/mxfp4.

Źródła i metodologia

Wszystkie dane liczbowe, czasy generowania, koszty oraz cytowane fragmenty odpowiedzi pochodzą z mojego własnego testu przeprowadzonego 24 października 2026 roku za pośrednictwem API OpenRouter (10 języków x 12 zadań, łącznie 780 ocenionych rekordów, całkowity budżet badania 14,31 USD, w tym 1,984 USD łącznego kosztu wywołań wszystkich 8 konfiguracji w języku polskim). Poniższe odnośniki do dokumentacji producenta podaję wyłącznie jako ogólny kontekst dotyczący samego modelu (nie są one źródłem wyników niniejszego testu):

• Oficjalny wpis na blogu Kimi prezentujący model Kimi K3.1 Pro
• Dokumentacja i cennik API na platformie Moonshot AI (Kimi)

Link do Kimi jest partnerski: jeśli kupisz przez niego, serwis dostaje prowizję, a Ty płacisz tyle samo. Nie wpływa to na treść, także tam, gdzie piszę krytycznie.