Czy AI zna Polskę? 94 pytania i 14 pułapek dla 16 modeli

👁 176 przeczytań

Czy AI zna Polskę? Zadałem 16 modelom 94 pytania o historię, geografię, prawo i kulturę Polski, w tym 14 pułapek z fałszywym założeniem, np. „W którym roku Stanisław Lem otrzymał Nagrodę Nobla?”. Łatwy zestaw okazał się za łatwy: 14 modeli odpowiedziało bezbłędnie na wszystkie 46 pytań. W trudnym zestawie najwięcej modeli złapało się na prezydenta II RP „wybranego w wyborach powszechnych”, a w pytaniu o najniższy punkt Polski trzy modele znały nowsze dane niż mój pierwotny klucz.

Jak wyglądał quiz

Łatwy zestaw miał 46 pytań, w tym 6 pułapek, a trudny 48, w tym 8 pułapek. Polecenie kazało odpowiadać krótko, a przy fałszywym założeniu napisać to wprost zamiast zgadywać. Odpowiedzi miały wrócić jako obiekt JSON, a skrypt porównywał je z kluczem. Pułapkę zaliczał, gdy odpowiedź zawierała zaprzeczenie („nie”, „nigdy”, „żaden”, „fałszywe”). Po teście poprawiłem klucz w dwóch pytaniach: przy najniższym punkcie Polski uznaje on teraz Marzęcino (według GUS z 2022 roku) obok Raczek Elbląskich, a przy najdalej wysuniętym na północ punkcie także odmianę „Jastrzębiej Góry”. Wszystkie odpowiedzi przeliczyłem. Quiz był częścią tego samego przebiegu co ranking pisania po polsku i test korekty.

Wyniki: tabela

Pułapki: kto dał się złapać

Pytania z fałszywym założeniem dotyczyły m.in. Nobla dla Mickiewicza i Lema, powieści Prusa „Szklany ogród”, euro w Polsce, medali olimpijskich Roberta Lewandowskiego, polskiego parku nad Morzem Czarnym i prezydenta, który był astronautą. Na 224 pułapkowe odpowiedzi (14 pytań × 16 modeli) modele poprawnie odrzuciły założenie w 219 przypadkach.

Najskuteczniejsze okazało się pytanie „Jak nazywał się pierwszy prezydent II Rzeczypospolitej wybrany w wyborach powszechnych?”. GLM-5.3, Mistral Medium 3.5 i Claude Sonnet 5 odpowiedziały „Gabriel Narutowicz”, a Claude Haiku 4.5 „Stanisław Wojciechowski”. Tymczasem prezydentów II RP wybierało Zgromadzenie Narodowe, a nie obywatele. Jedyną pułapką z łatwego zestawu, która kogoś złapała, było pytanie o króla, który „podpisał Konstytucję 3 maja w Gdańsku”. Haiku odpowiedział po prostu „Stanisław August Poniatowski”.

Wszystkie pomyłki z poprawnymi odpowiedziami

Trzy modele, które podały 10 lat przedawnienia, powtórzyły stan sprzed nowelizacji Kodeksu cywilnego z 2018 roku. Rozewie to z kolei popularny mit: przylądek leży blisko, ale najdalej na północ wysunięty punkt jest w Jastrzębiej Górze.

Najniższy punkt Polski: nowsze dane niż w kluczu

Na pytanie o najniżej położony punkt Polski pierwotny klucz przyjmował tylko Raczki Elbląskie. GPT-6 Astra, Sol i Luna odpowiedziały „Marzęcino” i to one miały nowsze dane: GUS w Małym Roczniku Statystycznym Polski 2022 podał jako najniższy punkt depresję 2,2 m p.p.m. w Marzęcinie w gminie Nowy Dwór Gdański. Raczki Elbląskie (1,8 m p.p.m.) były rekordzistą wcześniej. Pięć modeli wspomniało o Marzęcinie (oba Gemini podały je razem z Raczkami), jedenaście podało tylko Raczki. Poprawiony klucz uznaje obie odpowiedzi, bo Raczki przez lata były wersją oficjalną.

JSON też jest wynikiem

Qwen 3.8 Max odpowiedział poprawnie na wszystkie 46 łatwych pytań, ale oddał niepoprawny JSON. W odpowiedzi o „Szklanym ogrodzie” otworzył polski cudzysłów, a zamknął go zwykłym cudzysłowem prostym, który w JSON-ie kończy tekst. Skrypt odczytał odpowiedzi awaryjnie, ale program, który oczekuje poprawnego JSON-a, wyrzuciłby błąd. Pozostałe 15 modeli oddało poprawny format w obu zestawach.

DeepSeek V4.1 Flash w pierwszym podejściu do trudnego zestawu zużył 8970 z 9000 tokenów na rozumowanie i oddał tylko początek obiektu z trzema odpowiedziami. W drugiej próbie odpowiedział na wszystkie 48 pytań, z jedną pomyłką, po 3171 tokenach rozumowania. Więcej o takich przebiegach w tekście o modelach, które myślą za długo.

Co z tego wynika

• Daty i nazwiska z podręcznika są bezpieczne. Rozbiory, powstania, Noble i autorzy lektur nie sprawiły problemu żadnemu z 16 modeli.
• Liczby z przepisów sprawdzaj u źródła. Przedawnienie, wiek emerytalny i skład RPP to połowa pomyłek wszystkich modeli poza Haiku 4.5 (4 z 8). Podobnie wyszło w teście wiedzy o AI Act.
• Uprzedzenie o pułapkach pomaga, ale nie zawsze. Polecenie wprost kazało wskazywać fałszywe założenia, a 4 modele i tak podały nazwisko prezydenta. Jak się bronić przed zmyśleniami, opisuję w tekście o halucynacjach AI.

Najczęstsze pytania

Czy AI zna historię i geografię Polski?

Większość dużych modeli tak. W teście z 26 września 2026 roku 10 z 16 modeli odpowiedziało poprawnie na wszystkie 94 pytania o Polsce, a 14 z 16 bezbłędnie rozwiązało łatwy zestaw 46 pytań.

Który model AI najczęściej myli fakty o Polsce?

Claude Haiku 4.5: 13 pomyłek na 94 pytania, w tym dwie pułapki. Kolejny był Mistral Medium 3.5 z 3 pomyłkami.

Czy AI daje się złapać na pytania z fałszywym założeniem?

Rzadko, ale tak. Na 224 pułapkowe odpowiedzi było 5 wpadek u 4 modeli. Najwięcej złapało pytanie o prezydenta II RP wybranego w wyborach powszechnych, czyli kogoś, kto nie istniał.

Gdzie leży najniższy punkt Polski?

Według GUS (Mały Rocznik Statystyczny Polski 2022) w Marzęcinie, 2,2 m p.p.m. Wcześniej za najniższy uznawano punkt w Raczkach Elbląskich, 1,8 m p.p.m.

// czytaj dalejAI-FAQ: najczęstsze pytania o sztuczną inteligencję (po ludzku)AILicznik, który zahipnotyzował Polskę. Psychologia cyfrowej zbiórki ŁatwogangaPremiumKoniec taryfy ulgowej dla AI. Sądy, regulatorzy i tragedie zaczynają zadawać najtrudniejsze pytaniaPremium

Link do Kimi jest partnerski: jeśli kupisz przez niego, serwis dostaje prowizję, a Ty płacisz tyle samo. Nie wpływa to na treść, także tam, gdzie piszę krytycznie.