Monty Hall z haczykiem: sprawdziłem 14 modeli AI. Małe dalej każą zmieniać drzwi

👁 116 przeczytań

Zagadka jest stara jak teleturniej. Trzy drzwi, za jednymi samochód, za dwoma kozy. Wybierasz pierwsze, prowadzący otwiera trzecie i pokazuje kozę, po czym pyta, czy chcesz zmienić wybór. Odpowiedź „zmień, bo wygrywasz w dwóch przypadkach na trzy” każdy model AI zna na pamięć. 8 listopada w serwisie Towards Data Science Utkarsh Mangal opisał, co się dzieje, gdy zmienić jedną regułę prowadzącego. Małe modele, które testował, dalej mówiły „zmień”, nawet tam, gdzie zamiana zawsze przegrywa. Powtórzyłem ten eksperyment po polsku na 14 modelach, od GPT-6.1 Sol i Claude Opus 5.5 po trzymiliardowe modele, które da się uruchomić na laptopie. Wynik dzieli je na dwie wyraźne grupy.

Liczy się reguła, nie drzwi

Kiedy Marilyn vos Savant opisała tę zagadkę w magazynie „Parade” w 1990 roku, tysiące czytelników, także matematyków, pisały, że się myli. Nie myliła się. Klasyczne wyjaśnienie mówi: pierwszy wybór trafia z szansą 1/3, więc pozostałe drzwi mają 2/3. Statystyk Jeffrey Rosenthal nazywa to rozwiązaniem chwiejnym, bo działa trochę przypadkiem i rozsypuje się przy drobnych zmianach.

Solidniejsze pytanie brzmi: jak prawdopodobne było to, co zrobił prowadzący, gdyby samochód stał za każdymi z drzwi. Wszystko zależy od zasady, którą prowadzący się kieruje. Mangal rozpisuje to na sześć wariantów. W jednym prowadzący nie wie, gdzie jest auto, i przypadkiem odsłania kozę. Wtedy zamiana nic nie daje, szanse są pół na pół. W innym, nazywanym „piekielnym Montym”, prowadzący proponuje zamianę tylko wtedy, gdy na początku trafiłeś w samochód. Sama propozycja zdradza więc, że auto stoi za twoimi drzwiami, a zamiana przegrywa zawsze.

Mangal sprawdził pięć małych modeli: cztery rozmiary Qwen2.5 (od 0,5 do 7 mld parametrów) i Phi-3.5-mini. Dał im zasadę prowadzącego wprost w treści pytania. Wszystkie prawie zawsze wybierały „zmień”, więc ich trafność oscylowała wokół 33%, czyli tyle, ile osiąga model, który odpowiada „zmień” na wszystko. Jeden z nich zacytował poprawnie zasadę prowadzącego, a potem ją zignorował.

Mój test: 14 modeli, cztery warianty

9 listopada zadałem przez OpenRouter cztery warianty zagadki, po polsku, z zasadą prowadzącego opisaną jednym zdaniem i trzema odpowiedziami do wyboru: A) zmienić, B) zostać, C) bez różnicy. Każdy model miał zakończyć odpowiedź linijką „ODPOWIEDŹ: A, B albo C”. Warianty to:

• klasyczny, prowadzący wie i zawsze pokazuje kozę (dobra odpowiedź: zmienić);
• prowadzący nie wie i otwiera losowo, a za drzwiami przypadkiem stoi koza (bez różnicy);
• piekielny, propozycja pada tylko wtedy, gdy wybrałeś samochód (zostać);
• prowadzący zawsze otwiera kozę o najniższym numerze i otwiera drzwi nr 2 (bez różnicy).

Siedem dużych modeli: GPT-6.1 Sol, Claude Sonnet 5.5, Claude Opus 5.5, Gemini 3.8 Flash, Grok 4.7, DeepSeek V4.1 Flash i Muse Spark 1.3 od Mety. Każdy dostał każdy wariant dwa razy. Wynik: 56 poprawnych odpowiedzi na 56. Claude Sonnet 5.5 przy piekielnym wariancie odpowiedział dwoma zdaniami, które mógłbym wkleić do podręcznika: skoro prowadzący proponuje zamianę tylko wtedy, gdy wybrałeś auto, sama propozycja oznacza, że auto stoi za drzwiami nr 1.

Potem siedem małych i tanich modeli, każdy wariant trzy razy: Qwen 2.5 7B, Llama 3.2 3B, Llama 3.1 8B, Gemma 3 4B, Ministral 3B, gpt-oss-20b i GPT-6 Luna. Tu obraz się odwrócił. Pięć pierwszych zdobyło po 3 punkty na 12, prawie wyłącznie za wariant klasyczny. Prawie wszędzie pisały „A”, czyli „zmień”, także w piekielnym wariancie, gdzie zamiana oznacza pewną przegraną. Qwen 2.5 7B, Gemma 3 4B i Ministral 3B nie zawahały się ani razu: dwanaście pytań, dwanaście razy „zmień”.

Dwa małe modele zachowały się inaczej. gpt-oss-20b, otwarty model OpenAI, który przed odpowiedzią prowadzi wewnętrzne rozumowanie, zdobył 12 na 12. GPT-6 Luna, mały i tani model OpenAI dostępny przez API, pomylił się raz na 12. Cały test kosztował mnie 0,26 dolara.

Co z tego wynika

Różnica nie biegnie między dużymi i małymi modelami, tylko między tymi, które liczą, i tymi, które sobie przypominają. Model bez etapu rozumowania widzi trzy drzwi, kozę i prowadzącego, rozpoznaje znany wzór i podaje znaną odpowiedź. Zasada dopisana w jednym zdaniu nie przebija się przez tysiące tekstów o klasycznej wersji, które widział w treningu. Model, który najpierw rozpisuje przypadki, trafia w zasadę, bo musi przez nią przejść krok po kroku.

Trzeba przy tym uczciwie zaznaczyć jedno ograniczenie mojego testu. Poprosiłem o krótką odpowiedź, a modele bez trybu myślenia odpowiadały często samym „ODPOWIEDŹ: A”. Gdyby dostały polecenie, żeby najpierw rozpisać wszystkie przypadki, część z nich mogłaby trafić. Mangal z kolei w ogóle nie pozwalał modelom pisać, tylko odczytywał prawdopodobieństwa liter A, B i C. Oba podejścia sprawdzają to samo: co model mówi odruchowo.

Praktyczna lekcja dotyczy codziennego używania czatów. Zagadka Monty’ego Halla to tylko wygodny przykład pytania, które wygląda znajomo, a ma inny haczyk. W pracy takie pytania zdarzają się cały czas: umowa podobna do typowej, ale z jednym nietypowym punktem, regulamin promocji z wyjątkiem, zadanie z fizyki z niestandardowym warunkiem. Jeśli korzystasz z małego modelu na telefonie albo z darmowej wersji bez myślenia, poproś najpierw o rozpisanie przypadków albo o krótką symulację, a dopiero potem o werdykt. O tym, że nie we wszystkich nowych modelach da się dziś sterować rozumowaniem, pisałem w tekście Nowe modele AI odbierają ci wybór. Jak poziom rozumowania zmienia wyniki w jednym modelu, pokazuje test sześciu poziomów GPT-6.1 Terra, a podobny test na zadaniu z fizyki znajdziesz w artykule Które AI do fizyki.

Chcesz sprawdzić swój czat? Wklej mu piekielny wariant:

Jesteś w teleturnieju. Są trzy zamknięte drzwi: za jednymi samochód, za dwoma kozy. Wybierasz drzwi nr 1. Prowadzący wie, gdzie jest samochód, i ma żelazną zasadę: otwiera drzwi z kozą i proponuje zamianę TYLKO wtedy, gdy na początku wybrałeś samochód. Jeśli wybrałeś kozę, kończy grę bez propozycji. Właśnie otworzył drzwi nr 3 (koza) i proponuje zamianę na drzwi nr 2. Zmienić, zostać czy to bez różnicy?

Dobra odpowiedź to „zostać”. Jeśli twój czat każe zmieniać drzwi, wiesz już, jak traktuje pytania, które tylko wyglądają na znane.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Najczęstsze pytania

Jaka jest poprawna odpowiedź w klasycznej zagadce Monty’ego Halla?

Zmienić wybór. Gdy prowadzący wie, gdzie jest samochód, i zawsze odsłania kozę, zamiana wygrywa w dwóch przypadkach na trzy.

Kiedy zamiana drzwi nie ma sensu?

Gdy prowadzący nie wie, gdzie jest auto, i kozę odsłania przypadkiem, szanse są równe. Gdy proponuje zamianę tylko graczom, którzy trafili w samochód, zamiana zawsze przegrywa.

Które modele AI poradziły sobie w moim teście?

Wszystkie siedem dużych modeli (GPT-6.1 Sol, Claude Sonnet 5.5 i Opus 5.5, Gemini 3.8 Flash, Grok 4.7, DeepSeek V4.1 Flash, Muse Spark 1.3) odpowiedziało dobrze 56 razy na 56. Z małych modeli bezbłędny był gpt-oss-20b, a GPT-6 Luna pomylił się raz na 12.

Jak zmusić mały model do lepszej odpowiedzi?

Poproś, żeby przed werdyktem rozpisał wszystkie możliwe położenia samochodu i policzył, jak prawdopodobne jest zachowanie prowadzącego w każdym z nich. Możesz też poprosić o kod, który zasymuluje grę kilkaset tysięcy razy.