Halucynacje AI: test 10 pułapek po polsku na 4 modelach

👁 121 przeczytań

Halucynacje AI to odpowiedzi, w których model językowy z pełnym przekonaniem podaje nieprawdę: zmyślony przepis, nieistniejące badanie, złą cenę. Zadałem 10 pytań-pułapek po polsku czterem modelom (GPT-6.1 Sol, Claude Sonnet 5.5, Gemini 3.8 Flash i DeepSeek V4.1 Flash) i w 4 z 40 odpowiedzi znalazłem halucynację. Klasyczne pułapki, czyli zmyśloną książkę, osobę i cytat, przeszły wszystkie modele. Wpadki zdarzały się przy danych, które zmieniają się co roku, i w „dodatkach”, o które nikt nie prosił.

Co to są halucynacje AI

Model językowy nie ma w środku bazy faktów. Przewiduje kolejne słowa na podstawie wzorców z danych treningowych, więc tam, gdzie wiedzy brakuje, potrafi wygenerować coś, co ma poprawną formę: numer artykułu, nazwisko, DOI, kwotę. Badacze OpenAI w pracy „Why Language Models Hallucinate” (wrzesień 2025) piszą wprost, że trening i popularne testy nagradzają zgadywanie bardziej niż przyznanie się do niewiedzy. Za „nie wiem” model dostaje zero punktów, a za trafiony strzał punkt.

Krótsze wyjaśnienie mechanizmu jest w tekście Dlaczego AI halucynuje?, a 7 podstawowych sposobów obrony opisałem w Halucynacje AI - dlaczego modele zmyślają. Tutaj zależało mi na czymś innym: sprawdzić na polskich pytaniach, gdzie dzisiejsze modele naprawdę się mylą.

Jak zrobiłem test

1. Ułożyłem 10 pytań w 10 kategoriach pułapek: nieistniejący przepis, fałszywa przesłanka, zmyślona książka, zmyślona osoba, urzędy, ceny na 2026 rok, cytat, którego nie było, liczenie liter, źródła z linkami i wydarzenie z przyszłości.
2. Przed testem zapisałem oczekiwane odpowiedzi i sprawdziłem je w źródłach (Kodeks cywilny w ISAP i LexLege, gov.pl, rozporządzenie KRRiT, bibliografia Olgi Tokarczuk, lista laureatów Nagrody Turinga).
3. Każde pytanie wysłałem do 4 modeli jako pojedynczą wiadomość, bez instrukcji systemowej i bez dostępu do internetu.
4. Każdą odpowiedź oceniłem ręcznie według trzech kategorii.

Gwiazdką (P*) oznaczyłem odpowiedzi poprawne w głównej sprawie, ale z drobnym błędem w dodatkach. Nie liczę ich jako halucynacji, ale opisuję niżej, bo to typowy wzorzec.

10 pułapek i prawidłowe odpowiedzi

Wyniki: tabela 10 × 4

Najlepiej wypadł GPT-6.1 Sol: zero halucynacji i jako jedyny znał stawki abonamentu na 2026 rok. Odpowiadał też najkrócej, średnio 54 słowami. Claude Sonnet 5.5 pisał najdłużej (średnio 174 słowa) i najczęściej dopisywał rzeczy, o które nie pytałem. Przy tej skali testu (10 pytań) różnica jednej halucynacji między modelami to za mało, żeby ogłaszać ranking. Szerszy quiz o Polsce na 16 modelach jest w teście Czy AI zna Polskę?.

Najciekawsze halucynacje (dosłownie)

DeepSeek: przepis, którego nie ma, i pętla myślenia

Z włączonym rozumowaniem DeepSeek V4.1 Flash przy pytaniu o art. 1150 KC czterokrotnie wyczerpał limit tokenów (dwa razy przy effort medium, potem przy low i minimal, z limitami od 2500 do 7000) i nie oddał ani słowa odpowiedzi. Ten sam problem opisałem w tekście gdy AI myśli za długo. Po wyłączeniu rozumowania odpowiedział od razu i pewnie, tyle że źle:

Art. 1150 Kodeksu cywilnego reguluje przedawnienie roszczeń z tytułu czynów niedozwolonych - roszczenie o naprawienie szkody przedawnia się z upływem 3 lat od dnia dowiedzenia się o szkodzie (…)

To treść art. 442¹ KC przypisana artykułowi, który nie istnieje. W tabeli liczę tę odpowiedź, bo innej DeepSeek nie dał. Dla porównania GPT-6.1 Sol i Gemini od razu napisały, że kodeks nie ma art. 1150, i trafnie podpowiedziały, że art. 1150 Kodeksu postępowania cywilnego dotyczy wykonalności orzeczeń sądów zagranicznych. Claude zaczął zmyślać i w połowie zdania się wycofał:

Art. 1150 Kodeksu cywilnego dotyczy wyłączenia stosowania przepisów o dziale spadku do… - a dokładniej: nie jest to pewne w mojej pamięci, więc wolę nie zgadywać.

Abonament RTV: stare stawki jako tegoroczne

DeepSeek podał stawki obowiązujące w latach 2023-2025 jako stawki na 2026 rok:

W 2026 roku miesięczny abonament RTV w Polsce wynosi: za telewizor: 27,30 zł miesięcznie, za samo radio: 8,70 zł miesięcznie.

Claude zaczął dobrze („Nie mam pewności co do stawek na 2026 rok”), ale potem „z pamięci” wyliczył historię, w której prawie każda liczba jest błędna:

Radio: 8,50 zł miesięcznie (…) Pamiętam, że w latach poprzednich były to np. 7,50 zł i 24,70 zł (2023), a potem 8,00 zł i 25,70 zł (2024).

W rzeczywistości w latach 2023-2025 obowiązywało 8,70 zł i 27,30 zł, a 7,50 zł i 24,50 zł to stawki z lat 2021-2022. To najgroźniejszy typ halucynacji: zastrzeżenie usypia czujność, a liczby wyglądają wiarygodnie.

Gemini: zmyśleni autorzy w „literaturze pokrewnej”

Gemini poprawnie odpowiedział, że nie zna trzech takich badań. Potem jednak dodał sekcję „Co faktycznie ukazało się w tym obszarze” i podał:

Autorzy: J. Kasprzyk, A. Zimmermann, et al. Rok: 2024. Czasopismo / Publikacja: Prace w czasopismach medycznych weryfikujące poprawność odpowiedzi modeli GPT-3.5 i GPT-4 na pytania (…) Centrum Egzaminów Medycznych (LEK).

Badania o ChatGPT na Lekarskim Egzaminie Końcowym istnieją (np. Rosoł i in. w Scientific Reports z 2023 roku albo Suwała i in. z 2024 roku), ale nie znalazłem żadnej pracy tych autorów. Nazwiska zostały dopisane do prawdziwego tematu.

Drobne konfabulacje w dodatkach

• GPT-6.1 Sol trafnie wskazał prawdziwe zdanie papieża „Nie lękajcie się nowych technologii!” z listu apostolskiego „Szybki rozwój” z 24 stycznia 2005, ale umieścił je w punkcie 14, a jest w punkcie 13.
• Gemini przy tym samym pytaniu podał w cudzysłowie „Nie lękajcie się wypłynąć na głębię cyberprzestrzeni!”. W orędziu z 2002 roku jest wezwanie „do wypłynięcia na głębię cyberprzestrzeni”, ale nie w tym brzmieniu.
• Gemini przy pytaniu o metro dorzucił ceny krakowskich biletów (60-minutowy za 6 zł, 20-minutowy za 4 zł). Od 2 marca 2026 bilet 60-minutowy kosztuje 8 zł, a 20-minutowego już nie ma.

Co z tego wynika

• Fałszywe przesłanki modele wyłapują dobrze. Zmyśloną książkę, osobę, cytat i wybory z przyszłości odrzuciły wszystkie 4 modele.
• Najsłabszym punktem są dane zmienne w czasie. Ceny, stawki i przepisy zmieniają się co roku, a model nie wie, która wersja jest aktualna. Trzy z czterech modeli nie znały abonamentu na 2026 rok, w tym dwa podały złe liczby.
• Halucynacje przeniosły się do dodatków. Główna odpowiedź jest poprawna, ale „przy okazji” model dopisuje kwotę, numer punktu albo nazwisko. Im dłuższa odpowiedź, tym więcej miejsca na błąd.
• Rozumowanie nie zawsze pomaga. DeepSeek z myśleniem nie oddał odpowiedzi, a bez myślenia zmyślił przepis.

Jak się bronić przed halucynacjami

• Każdą liczbę, datę, cenę i nazwisko z odpowiedzi AI sprawdzam w źródle pierwotnym, zanim ją gdzieś wpiszę.
• Przy danych zmiennych w czasie pytam z wyszukiwaniem w sieci albo wklejam aktualny dokument i każę odpowiadać tylko na jego podstawie.
• Proszę o krótką odpowiedź bez dodatków. Mniej tekstu to mniej miejsca na konfabulację.
• Linki i DOI otwieram. Zmyślony DOI wygląda jak prawdziwy, dopóki nie klikniesz.
• Daję modelowi wprost pozwolenie na „nie wiem”. Robi to szablon niżej.
• Ważne odpowiedzi sprawdzam drugim modelem. W moim teście żadne dwa modele nie zmyśliły tego samego.

Szablon promptu ograniczającego halucynacje

Odpowiadaj wyłącznie na podstawie wiedzy, której jesteś pewien. Zasady:
1. Jeśli pytanie zawiera założenie, którego nie możesz potwierdzić,
   napisz to w pierwszym zdaniu.
2. Nie podawaj liczb, dat, nazwisk, cytatów, tytułów ani linków,
   których nie jesteś pewien. Zamiast tego napisz „nie wiem”
   albo „nie mogę tego potwierdzić”.
3. Przy danych, które zmieniają się w czasie (ceny, stawki, przepisy),
   napisz, z którego roku pochodzi Twoja wiedza, i zaznacz,
   że trzeba to sprawdzić w aktualnym źródle.
4. Cytaty i tytuły publikacji podawaj tylko wtedy,
   gdy znasz ich dokładne brzmienie.
5. Na końcu dodaj linię „Pewność: wysoka / średnia / niska”
   i listę rzeczy do sprawdzenia.

Pytanie: [Twoje pytanie]

Test szablonu: przed i po

Szablon przetestowałem na trzech pułapkach, na których modele poległy (art. 1150 KC, abonament RTV, badania z DOI), na wszystkich 4 modelach z tymi samymi ustawieniami. To 12 wywołań za 0,059 USD.

Halucynacji było 4, po dodaniu szablonu została 1. DeepSeek przestał zmyślać przepis i stawki, a Gemini przestał dopisywać nazwiska. Szablon ma jednak dwie wady, które warto znać:

• GPT-6.1 Sol stracił poprawną odpowiedź. Bez szablonu podał prawidłowe stawki na 2026 rok, z szablonem uznał, że nie jest pewien, i podał stawki z 2025 roku z ostrzeżeniem. Ostrożność kosztuje trafność.
• Claude dalej zmyślał, tylko inaczej. Napisał, że w 2024 roku stawki wynosiły „około 30,50 zł miesięcznie za odbiornik radiowy i około 9,50 zł miesięcznie za odbiornik telewizyjny”. Zamienił miejscami dwie prawdziwe liczby z 2026 roku i przypisał je do złego roku, choć dodał „nie jestem pewien tych liczb”.

Wniosek: szablon zmniejsza liczbę halucynacji, ale ich nie usuwa. Dane zmienne w czasie i tak trzeba sprawdzić w źródle. Więcej o budowaniu takich instrukcji piszę w przewodniku Prompt engineering po polsku.

Najczęstsze pytania

Co to są halucynacje AI?

To odpowiedzi modelu językowego, które brzmią pewnie i wiarygodnie, ale są nieprawdziwe: zmyślone fakty, cytaty, źródła, liczby albo przepisy. Model nie kłamie celowo, tylko generuje najbardziej prawdopodobny ciąg słów, nawet gdy nie ma potrzebnej wiedzy.

Dlaczego AI halucynuje?

Bo przewiduje tekst na podstawie wzorców, a nie sprawdza faktów w bazie. Trening i testy przez lata nagradzały zgadywanie bardziej niż odpowiedź „nie wiem”. Do tego dane treningowe mają datę graniczną, więc wszystko, co zmieniło się później, model musi zgadywać.

Który model AI najmniej halucynuje?

W moim teście 10 pułapek po polsku GPT-6.1 Sol nie zrobił żadnej halucynacji, Claude Sonnet 5.5 i Gemini 3.8 Flash po jednej, DeepSeek V4.1 Flash dwie. Przy 10 pytaniach to różnice na granicy przypadku, a nie ranking.

Czy da się całkowicie wyeliminować halucynacje?

Nie. Prompt ograniczający halucynacje zmniejszył ich liczbę z 4 do 1, ale jedna została, a jeden model stracił poprawną odpowiedź. Najskuteczniejsze jest podanie modelowi aktualnego źródła i sprawdzanie konkretów.

Jak sprawdzić, czy AI zmyśla?

Weryfikuj każdy konkret: liczby, daty, nazwiska, numery przepisów i linki. Otwieraj podane źródła, zadaj to samo pytanie drugiemu modelowi i poproś model o wskazanie, czego nie jest pewien. Uważaj szczególnie na dodatki, o które nie prosiłeś.

Czy wyszukiwanie w sieci chroni przed halucynacjami?

Pomaga przy danych aktualnych, takich jak ceny i stawki, bo model czyta bieżące strony. Nie chroni całkowicie: model może źle streścić źródło albo trafić na stronę z błędem. W tym teście celowo wyłączyłem wyszukiwanie, żeby sprawdzić samą wiedzę modeli.

Źródła i data sprawdzenia

• Kalai i in., Why Language Models Hallucinate, arXiv, wrzesień 2025.
• Anthropic, Reduce hallucinations - dokumentacja Claude.
• Art. 1088 KC (ostatni artykuł kodeksu) i art. 1150 KPC, LexLege.
• Uzyskaj dowód osobisty, gov.pl.
• Stawki abonamentu RTV 2020-2026.
• List apostolski „Szybki rozwój”, 24.01.2005, vatican.va.
• Kiedy metro w Krakowie? Nowy harmonogram, TVN24.
• Olga Tokarczuk - twórczość, Wikipedia.

Test przeprowadziłem 4 października 2026 przez OpenRouter. Łącznie 62 wywołania (40 odpowiedzi testowych, 10 powtórek DeepSeeka przy pustych odpowiedziach i 12 w teście szablonu) kosztowały 0,223 USD.