Test modeli AI 16.09.2026: 7 modeli, 4 zadania, pełne wyniki
Przebieg z 16.09.2026: 7 modeli, te same 3 zadania (redakcja bez zmiany liczb, tabela z PDF, kod PESEL w piaskownicy) plus test kontekstu. Komplet zaliczyło 5 z 7. Pełne prompty i surowe odpowiedzi do wglądu.
👁 164 przeczytań
- Wszystkie 7 modeli zaliczyły redakcję tekstu bez zmiany liczb, ale przy walidatorze PESEL DeepSeek V4 Pro i Qwen 3.8 Max zwróciły brak odpowiedzi.
- Jedynym modelem, który zaliczył wszystkie próby testu kontekstu przy 8k, 32k i 128k tokenach, był Kimi K3 oraz DeepSeek V4 Pro, oba z wynikiem 2/2 na każdym poziomie.
To zapis jednego przebiegu z 16.09.2026. Aktualne wyniki i historia wszystkich przebiegów są na stałej stronie Test modeli AI.
Każdy z 7 modeli dostał identyczne prompty w tej samej kolejności, temperatura 0, jedno wywołanie na zadanie. Ocenia PHP, nie inny model: porównanie liczb, komórek tabeli i uruchomienie kodu na stałych wektorach. Porażki, puste odpowiedzi i przekroczenia czasu zostają w tabeli.
Wyniki przebiegu
| Model | Redakcja bez zmiany liczb | Tabela z PDF do JSON | Kod: walidator PESEL z testami | Kontekst (igła w stogu) |
|---|---|---|---|---|
| Claude Opus 5 | zaliczone | 8/8 wierszy | 10/10 wektorów | błąd przy 8 tys., błąd przy 32 tys., 1/1 przy 128 tys. |
| GPT-6 Astra | zaliczone | 8/8 wierszy | 10/10 wektorów | poza testem kontekstu |
| Gemini 3.1 Pro | zaliczone | 8/8 wierszy | 10/10 wektorów | poza testem kontekstu |
| Kimi K3 | zaliczone | 8/8 wierszy | 10/10 wektorów | 2/2 przy 8 tys., 2/2 przy 32 tys., 2/2 przy 128 tys. |
| DeepSeek V4 Pro | zaliczone | 8/8 wierszy | brak odpowiedzi | 2/2 przy 8 tys., 2/2 przy 32 tys., 2/2 przy 128 tys. |
| Grok 4.6 | zaliczone | 8/8 wierszy | 10/10 wektorów | poza testem kontekstu |
| Qwen 3.8 Max | zaliczone | 8/8 wierszy | brak odpowiedzi | poza testem kontekstu |
Co nie zadziałało w tym przebiegu
- DeepSeek V4 Pro, Kod: walidator PESEL z testami: przekroczony limit czasu 170 s.
- Qwen 3.8 Max, Kod: walidator PESEL z testami: przekroczony limit czasu 170 s.
Zadania i ocena odpowiedzi
Redakcja bez zmiany liczb
Model dostaje tekst urzędowy z trzema literówkami i drętwymi zwrotami. Ma poprawić styl i literówki, nie ruszając ani jednej liczby, daty ani godziny. Oceniacz porównuje multizbiór liczb w oryginale i w odpowiedzi, sprawdza trzy literówki i format (sam tekst, bez nagłówków i list).
Ocena każdego modelu
- Claude Opus 5 - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 98% oryginału.
- GPT-6 Astra - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 98% oryginału.
- Gemini 3.1 Pro - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 97% oryginału.
- Kimi K3 - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 94% oryginału.
- DeepSeek V4 Pro - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 96% oryginału.
- Grok 4.6 - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 97% oryginału.
- Qwen 3.8 Max - zaliczone. Liczby: wszystkie 18 zachowane co do znaku. Literówki: wszystkie 3 poprawione. Format: sam tekst, długość 92% oryginału.
Tabela z PDF do JSON
Model dostaje warstwę tekstową cennika z PDF: dwa wiersze z nazwą przeniesioną do następnej linii, wiersz bez danych (kreski), usługa zwolniona z VAT z gwiazdką i przypisem. Ma zwrócić 8 wierszy jako JSON. Oceniacz porównuje każdą komórkę z wartością oczekiwaną; wiersz liczy się tylko w całości.
Ocena każdego modelu
- Claude Opus 5 - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- GPT-6 Astra - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- Gemini 3.1 Pro - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- Kimi K3 - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- DeepSeek V4 Pro - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- Grok 4.6 - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
- Qwen 3.8 Max - 8/8 wierszy. Wszystkie 8 wierszy zgodne z tabelą, łącznie z nazwami łamanymi w PDF i wierszem bez danych.
Kod: walidator PESEL z testami
Model pisze funkcję Python walidującą PESEL (suma kontrolna, kodowanie stulecia w miesiącu, poprawność daty, płeć). Kod jest uruchamiany w zewnętrznej piaskownicy (Compiler Explorer, Python 3.12) na 10 wektorach: 5 poprawnych numerów z różnych stuleci i 5 pułapek (zła suma, 31 lutego, 10 znaków, litera, pusty ciąg). Wynik to liczba zaliczonych wektorów.
Ocena każdego modelu
- Claude Opus 5 - 10/10 wektorów. Wszystkie 10 wektorów zaliczone, w tym 31 lutego z poprawną sumą kontrolną i rok 1899.
- GPT-6 Astra - 10/10 wektorów. Wszystkie 10 wektorów zaliczone, w tym 31 lutego z poprawną sumą kontrolną i rok 1899.
- Gemini 3.1 Pro - 10/10 wektorów. Wszystkie 10 wektorów zaliczone, w tym 31 lutego z poprawną sumą kontrolną i rok 1899.
- Kimi K3 - 10/10 wektorów. Wszystkie 10 wektorów zaliczone, w tym 31 lutego z poprawną sumą kontrolną i rok 1899.
- DeepSeek V4 Pro - brak odpowiedzi. przekroczony limit czasu 170 s
- Grok 4.6 - 10/10 wektorów. Wszystkie 10 wektorów zaliczone, w tym 31 lutego z poprawną sumą kontrolną i rok 1899.
- Qwen 3.8 Max - brak odpowiedzi. przekroczony limit czasu 170 s
Nie przepłacaj za te subskrypcje
Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.
Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.
Metodologia
- Jedno wywołanie na parę model-zadanie, temperatura 0, bez system promptu, bez narzędzi. Nie powtarzam wywołania, gdy odpowiedź jest zła; powtarzam tylko, gdy API nie odpowiedziało (429, 5xx, zerwane połączenie).
- Ocena jest deterministyczna: kod PHP porównuje liczby i komórki, a kod modelu uruchamia zewnętrzna piaskownica Compiler Explorer (godbolt.org, Python 3.12). Żaden model nie ocenia innego modelu.
- Limit czasu odpowiedzi: 170 s. Przekroczenie liczy się jako brak odpowiedzi, bo dla użytkownika to ten sam skutek. Limit tokenów odpowiedzi to 8000 łącznie z ukrytym rozumowaniem; model, który zużyje go na myślenie i nie odda treści, dostaje „pusta odpowiedź”.
- Ograniczenia: to trzy krótkie zadania po polsku, nie pełny obraz modelu. Zadania są jawne, więc mogą z czasem trafić do danych treningowych; dlatego protokół ma wersję, a zmiana zadań oznacza nową wersję i osobne porównanie.
- Surowe odpowiedzi modeli i dane techniczne wywołań zapisuję przy każdym przebiegu; na stronie pokazuję wynik oceny i to, co o nim zdecydowało.
Najczęstsze pytania
Który model AI najlepiej poradził sobie z testem kontekstu przy 128k tokenach?
Kimi K3 i DeepSeek V4 Pro uzyskały wynik 2/2 przy 128k tokenach. Claude Opus 5 zaliczył tylko 1/1 przy 128k, ale popełnił błędy przy 8k i 32k, natomiast GPT-6 Astra, Gemini 3.1 Pro, Grok 4.6 i Qwen 3.8 Max były poza zakresem tego testu.
Czy któryś model nie dał żadnej odpowiedzi na zadanie z walidatorem PESEL?
Tak, DeepSeek V4 Pro i Qwen 3.8 Max zwróciły brak odpowiedzi w zadaniu z kodem walidatora PESEL. Oba modele ukończyły za to poprawnie zadanie redakcji tekstu i konwersji tabeli z PDF do JSON.
Jak długo trwał cały przebieg protokołu testowego z 16 września 2026?
Przebieg trwał od 20:19:01 do 20:45:03 czasu serwera, czyli około 26 minut. Testy były przeprowadzone przez OpenRouter, a każdy model otrzymał identyczne prompty przy temperaturze 0.
Ile wierszy tabeli poprawnie przekonwertowały modele AI w zadaniu z PDF do JSON?
Wszystkie modele, które zwróciły odpowiedź w tym zadaniu, uzyskały wynik 8/8 wierszy. DeepSeek V4 Pro osiągnął ten wynik w 24,5 s, a Qwen 3.8 Max w 40,9 s, mimo że oba później nie odpowiedziały na zadanie z walidatorem PESEL.
Matura AI 2026: wyniki 12 modeli na arkuszach CKE z majaArtykuły
AI do szkoły 2026: ranking 9 modeli na 15 zadaniach z polskiej szkołyArtykułyCały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Link do Kimi jest partnerski: jeśli kupisz przez niego, serwis dostaje prowizję, a Ty płacisz tyle samo. Nie wpływa to na treść, także tam, gdzie piszę krytycznie.
- paliwownia.plCloudflare Workers AI za darmo: 10 000 Neurons dziennie i modele do testów
- generatornia.plNajlepszy darmowy generator obrazów AI: 3 modele, te same 4 prompty, 12 obrazów bez poprawek
- algorytmik.plTryb AI Google a przegląd od AI: czym się różnią i dlaczego SEO zostaje to samo
- jutropis.plPLLuM w NSA: pilotaż asystenta AI z 30 pracownikami
