Co chatboty wiedzą o AI Act? Test 9 modeli: 8 podaje nieaktualne terminy

👁 153 przeczytań

24 września 2026 zadałem dziewięciu modelom AI te same 8 pytań o AI Act: o terminy, kary, polski organ nadzoru i lipcową nowelizację. Z 72 odpowiedzi poprawnych było 30. Komplet 8 na 8 dał tylko jeden model - Perplexity Sonar Pro, który przeszukał internet. Gemini stwierdził, że Digital Omnibus „nie istnieje”, europejski Mistral wskazał jako organ nadzoru UODO, a DeepSeek wymyślił polską ustawę z datą, która nigdy nie padła.

Jak zrobiłem test

• Kiedy: 24 września 2026, wszystkie zapytania między 22:42 a 22:46.
• Jak: jedno identyczne polecenie wysłane przez OpenRouter do każdego modelu, ustawienia domyślne, limit 8000 tokenów odpowiedzi.
• Wyszukiwanie: wyłączone wszędzie poza Perplexity, które ma je wbudowane.
• Polecenie: odpowiedz krótko według stanu prawnego „na dziś”, a jeśli wiedza może być nieaktualna, „napisz to wprost zamiast zgadywać”.
• DeepSeek: pierwsza próba wróciła pusta (cały limit 8000 tokenów poszedł na myślenie), druga z limitem 24 tysięcy dała odpowiedź po 68,9 s.
• Klucz odpowiedzi: sprawdzony w rozporządzeniach 2024/1689 i 2026/1744 w EUR-Lex oraz w ustawie Dz.U. 2026 poz. 1003.

Każdą odpowiedź oceniłem w jednej z trzech kategorii. „Poprawnie” to zgodnie ze stanem prawnym. „Z zastrzeżeniem” to stary stan prawny albo „nie wiem”, ale z wyraźnym sygnałem, że trzeba to sprawdzić - przy danym pytaniu albo w zdaniu, które obejmuje tę odpowiedź. Taką odpowiedź uważam za uczciwą. „Błędnie bez zastrzeżenia” to nieprawda podana jako pewnik.

Pytania i poprawne odpowiedzi

Klucz jest aktualny także 1 października 2026.

Wyniki model po modelu

Łącznie 30 odpowiedzi poprawnych, 27 z zastrzeżeniem i 15 błędnych bez zastrzeżenia. Cały test kosztował 0,13 USD.

Co wiedzą wszyscy, a czego nie wie prawie nikt

Karę z pytania 3 znały wszystkie modele, a terminy z pytań 5 i 6 - wszystkie poza Mistralem. To przepisy z pierwotnego tekstu z 2024 roku, który modele widziały w danych treningowych wiele razy.

Pytania 1, 2, 4, 7 i 8, czyli wszystko, co zmieniło się w lipcu 2026, poprawnie zna tylko Perplexity. Rozporządzenie zmieniające opublikowano 24 lipca, polską ustawę 27 lipca. Modele z wiedzą do połowy 2026 roku nie mogły o tym wiedzieć. Claude Opus 5.5 ma wiedzę do czerwca 2026.

Najlepsze i najgorsze odpowiedzi

Perplexity Sonar Pro - wyszukiwarka wygrywa, ale źródła z drugiej ręki

8 z 8, łącznie z dopiskiem, że kontrole i kary obowiązują od 28 października 2026, o co nawet nie pytałem. Odpowiedź podała 14 linków. Tylko 4 prowadziły do instytucji UE (3 do strony Parlamentu Europejskiego, 1 do Komisji). Żaden nie prowadził do EUR-Lex ani do Dziennika Ustaw. Resztę stanowiły serwisy prywatne, m.in. kancelarie i trackery legislacyjne, oraz depesza PAP. Tym razem źródła się zgadzały, ale tekstu przepisu Perplexity nie zacytował.

Claude Opus 5.5 - najbardziej użyteczny bez wyszukiwarki

Podał stare terminy, ale przy każdym dopisał, co wie o zmianie, np. że Omnibus proponuje przesunięcie terminu, „ale nie wiem, czy zmiana została już przyjęta”. Znał datę propozycji Komisji (19 listopada 2025) i nazwę KRiBSI. Na końcu wymienił odpowiedzi do weryfikacji: 1, 2, 4, 5, 7 i 8. Pięć z nich rzeczywiście się zmieniło.

GPT-6 Luna i Grok 4.7 - tanio i uczciwie

GPT-6 Luna kosztowała 0,001 USD i przy każdej niepewnej odpowiedzi pisała „nie mogę potwierdzić”. Grok przy pytaniu o polską ustawę odpisał, że nie poda nazwy ani daty „z domysłu”. Za takie „nie wiem” daję plus.

Gemini 3.8 Flash - pewny siebie i w błędzie

Na pytanie o Digital Omnibus odpowiedział, że taki akt „nie istnieje i nie został przyjęty”. Istnieje - to rozporządzenie 2026/1744. Napisał też, że polska ustawa „nie weszła ona jeszcze w życie” i że żaden organ formalnie nie pełni funkcji nadzoru. O terminach z 2 sierpnia 2026 pisał w czasie przyszłym, choć od tej daty minęło już ponad siedem tygodni. Żadnego zastrzeżenia.

Kimi K3 - stare terminy z numerem artykułu

Terminy z pytań 1 i 2 podał bez zastrzeżenia, a przy pierwszym dodał odwołanie do art. 113. Przy ustawie i Omnibusie uczciwie napisał, że stan mógł się zmienić.

Mistral Medium 3.5 - najgorszy wynik, i to model europejski

Jedyny model, który pomylił się w pierwotnym tekście rozporządzenia. Obowiązki przejrzystości przesunął na 2 sierpnia 2025, a zakaz rozpoznawania emocji na 2 sierpnia 2026 - w obu przypadkach odwrotnie. Zakaz przypisał do „art. 5 ust. 1d”, choć to lit. f. Organem nadzoru jest według niego Prezes UODO. Swój stan wiedzy sam określił jako „na dzień dzisiejszy (czerwiec 2025)”.

DeepSeek V4.1 Flash - wymyślona ustawa

Pierwsza próba skończyła się pustą odpowiedzią, tak jak w teście po polsku. W drugiej napisał, że polska ustawa pochodzi z „11 lipca 2025 r.”, weszła w życie „2 sierpnia 2025 r.”, a nadzór sprawuje Prezes UKE. Żadna z tych informacji nie jest prawdziwa. Ogólne zastrzeżenie dodał na początku, ale konkretne daty podał bez wahania.

Typowe błędy chatbotów w pytaniach o AI Act

• Stare terminy wysokiego ryzyka - 2.08.2026 i 2.08.2027 zamiast 2.12.2027 i 2.08.2028 (8 z 9 modeli).
• Omnibus jako projekt albo coś, co „nie istnieje” - wszystkie modele bez wyszukiwania, Gemini i Mistral bez zastrzeżeń.
• Zły organ nadzoru - UODO (Mistral), UKE (DeepSeek) albo „żaden organ” (Gemini).
• Zmyślone daty i akty - ustawa „z 11 lipca 2025 r.” (DeepSeek).
• Pomylone litery i punkty przepisów - „art. 5 ust. 1d” zamiast lit. f (Mistral), art. 113 lit. c i d przypisane nie tym terminom (DeepSeek).
• Czas przyszły przy datach, które minęły - „zaczną obowiązywać od 2 sierpnia 2026 r.” (Gemini), „mają obowiązywać” (GPT-6 Sol).

Co się zmieniło od testu

Test pokazuje stan wiedzy modeli z 24 września 2026, a prawo od tego czasu się nie zmieniło. Od 2 sierpnia 2026 obowiązuje art. 50, więc chatbot ma być zaprojektowany tak, by człowiek wiedział, że rozmawia z AI (art. 50 ust. 1). Od 27 lipca 2026 działa Omnibus z nowymi terminami. W dniu testu Senat zgodził się na powołanie przewodniczącej KRiBSI - opisuję to w tekście o Pameli Krzypkowskiej i KRiBSI. Kontrole i kary w Polsce ruszą 28 października 2026. Pełny harmonogram jest w tekście o terminach AI Act.

Jak sprawdzać to, co mówi chatbot o prawie

1. Żądaj numeru przepisu. Artykuł, ustęp, litera. Potem otwórz go w tekście źródłowym - jak znaleźć oficjalny tekst AI Act po polsku, opisuję osobno.
2. Sprawdź datę wersji. AI Act czytaj w wersji skonsolidowanej z 27.07.2026 albo nowszej.
3. Włącz wyszukiwanie, ale klikaj w źródła. Perplexity miał rację, choć żadne z 14 źródeł nie było tekstem przepisu.
4. Pytaj o stan na konkretny dzień i o to, do kiedy sięga wiedza modelu.
5. Zwracaj uwagę na czas gramatyczny. „Zacznie obowiązywać” przy dacie z przeszłości to sygnał, że model nie zna dzisiejszej daty.
6. Polskie przepisy sprawdzaj w ISAP, czyli w Internetowym Systemie Aktów Prawnych Sejmu.
7. Przy wysokiej stawce idź dalej. Od 28 października 2026 KRiBSI wydaje opinie indywidualne (art. 8-13 ustawy, 150 zł), a wątpliwości rozstrzygnie też prawnik.

Co to ma wspólnego z art. 4 AI Act

Art. 4 obowiązuje od 2 lutego 2025, a od 27 lipca 2026 w nowym brzmieniu: dostawcy i podmioty stosujące systemy AI podejmują środki wspierające rozwój kompetencji personelu w zakresie AI. Komisja Europejska w Q&A pisze wprost, że firma, której pracownicy używają ChatGPT do tekstów reklamowych czy tłumaczeń, podlega art. 4 - i jako przykład potrzebnej wiedzy podaje halucynacje.

Moim zdaniem ten test to gotowy materiał na szkolenie. Pokazuje halucynację prawną w praktyce: pewny ton, konkretna data, zero podstaw. KRiBSI może w kontroli sprawdzać poziom wiedzy i kompetencji (art. 25 pkt 3 ustawy). Co powinien zawierać program szkoleń, piszę w tekście o kompetencjach AI z art. 4, a całość regulacji streszczam w przewodniku po AI Act.

Najczęstsze pytania

Czy ChatGPT zna aktualne przepisy AI Act?

Bez wyszukiwania - nie. GPT-6 Sol i GPT-6 Luna podały terminy sprzed lipcowej nowelizacji, ale zaznaczyły, że mogą być nieaktualne.

Który chatbot najlepiej odpowiada na pytania o AI Act?

W moim teście Perplexity Sonar Pro z wyszukiwarką: 8 na 8. Z modeli bez wyszukiwania najbardziej użyteczny był Claude Opus 5.5, bo przy każdej niepewnej odpowiedzi opisał, co mogło się zmienić.

Dlaczego modele podają złe terminy?

Terminy zmieniło rozporządzenie 2026/1744 opublikowane 24 lipca 2026, a polską ustawę ogłoszono 27 lipca 2026. Większość modeli ma wiedzę sprzed tych dat.

Czy mogę oprzeć ocenę zgodności z AI Act na odpowiedzi chatbota?

Nie. Odpowiedź modelu to punkt wyjścia. Każdą datę i obowiązek sprawdź w EUR-Lex albo ISAP, a w sprawach o wysokiej stawce skorzystaj z opinii indywidualnej KRiBSI lub pomocy prawnika.

Ile kosztował test?

Łącznie 0,13 USD za 10 zapytań (z pustą próbą DeepSeeka). Najdroższy był Claude Opus 5.5 (0,037 USD), najtańsza GPT-6 Luna (0,001 USD).

To nie jest porada prawna - tekst opisuje test modeli AI i stan przepisów na 1 października 2026.

// czytaj dalejChatboty odpierają teorie spiskowe o wyborach, ale chętnie je ilustrują obrazemNewsyLumo 2.0 - Proton odświeża swojego chatbota stawiającego na prywatnośćNewsyWhittaker o chatbotach: „To nie są twoi przyjaciele”. I ma racjęNewsy

Link do Kimi jest partnerski: jeśli kupisz przez niego, serwis dostaje prowizję, a Ty płacisz tyle samo. Nie wpływa to na treść, także tam, gdzie piszę krytycznie.