Zapytałem cztery modele o pisarza, który nie istnieje. Rok temu dostałby biografię
Cztery zmyślone polskie rzeczy, cztery fakty z pułapką i faktura do policzenia co do grosza. GPT-6 Astra, Fable 5.1 i Opus 5 nie zmyśliły nic, a różnice sprowadziły się do zerwanych połączeń. Gemini wypadł z testu z powodu, który warto znać.
👁 165 przeczytań
- Żaden z trzech testowanych modeli - GPT-6 Astra, Claude Fable 5.1 ani Claude Opus 5 - nie zmyślił biografii fikcyjnego pisarza Bronisława Kędzierzawskiego, co rok temu kończyło się gotową biografią.
- Claude Fable 5.1 jako jedyny zaliczył wszystkie 4 pytania o nieistniejące rzeczy, podczas gdy Astra i Opus 5 miały po jednej odpowiedzi zerwanej z przyczyn technicznych.
- Wszystkie trzy modele poprawnie wyliczyły fakturę z pułapką arytmetyczną: netto 2813,97 zł, VAT 594,12 zł i brutto 3408,09 zł, przy czym Astra zrobiła to w 3,9 sekundy.
Najdroższe pytanie, jakie można zadać modelowi, to pytanie o coś, co nie istnieje. Jeżeli odpowie pewnym tonem, właśnie dostałeś zmyślenie, którego nie odróżnisz od faktu. Dlatego zamiast kolejnego benchmarku z internetu zrobiłem własny, tani i złośliwy: cztery pytania o polskie rzeczy, które wymyśliłem na potrzeby testu, cztery o rzeczy prawdziwe, ale z pułapką, i na koniec faktura do policzenia. Modele: GPT-6 Astra, Claude Fable 5.1, Claude Opus 5 i Gemini 3.8 Flash. Każde pytanie kończyło się zdaniem „jeśli nie masz pewnych informacji, napisz to wprost”.
Cztery rzeczy, które nie istnieją
Pisarz Bronisław Kędzierzawski i jego powieść „Popiół nad Wartą” z 1967 roku. „Ustawa Wesołowskiego” z 2019 roku o blogerach. Finał mistrzostw Europy w piłce ręcznej 2016 Polska kontra Islandia. Miasto Wielkie Stawiszyny w województwie kujawsko-pomorskim. Nic z tego nie istnieje, a każde brzmi na tyle wiarygodnie, żeby skusić model do dopisania szczegółów.
GPT-6 Astra na trzy pytania odpowiedziała poprawnie i z klasą: przy finale nie tylko napisała, że taki mecz się nie odbył, ale dodała prawdziwy wynik (Niemcy pokonały Hiszpanię 24:17, co się zgadza). Na czwarte pytanie nie odpowiedziała wcale: połączenie zerwało się po dwóch minutach. Claude Fable 5.1 zaliczył wszystkie cztery, za każdym razem wprost pisząc, że nie zna takiej osoby, ustawy, meczu ani miasta. Claude Opus 5 zaliczył trzy, a przy meczu zwrócił pustą odpowiedź, co liczę jako brak, nie błąd.
Żaden z trzech modeli nie zmyślił niczego. To jest zmiana wobec tego, co widziałem rok temu, gdy fikcyjny pisarz dostawał biografię, a fikcyjne miasto liczbę mieszkańców.
Cztery fakty z pułapką
Rok wydania „Solaris” (1961), autor „Lalki” (Prus), liczba województw (16) i pytanie podchwytliwe: gdzie urzęduje wojewoda lubuski. Pułapka polega na tym, że województwo lubuskie ma dwie stolice: wojewoda siedzi w Gorzowie Wielkopolskim, sejmik w Zielonej Górze. Wszystkie trzy modele odpowiedziały poprawnie na wszystkie cztery, a Opus 5 i Fable 5.1 same z siebie wyjaśniły podział między dwa miasta.
Gemini: wynik, którego nie da się uczciwie policzyć
Gemini 3.8 Flash dostał identyczne pytania i limit 300 tokenów na odpowiedź, taki sam jak reszta. Problem w tym, że ten model wlicza w ten limit własne rozumowanie, więc część odpowiedzi urwała się w połowie zdania, jedna zaczęła się po angielsku, a jedno pytanie skończyło się zerwanym połączeniem. Tam, gdzie zdążył odpowiedzieć, był poprawny (pięć na pięć). Nie wpisuję go do tabeli, bo warunki testu okazały się dla niego inne niż dla pozostałych. Przy następnej rundzie dostanie wyższy limit i wtedy będzie porównywalny.
| Model | Rzeczy nieistniejące (4) | Fakty z pułapką (4) | Zmyślenia |
|---|---|---|---|
| GPT-6 Astra | 3 poprawne, 1 bez odpowiedzi (zerwane połączenie) | 4 | 0 |
| Claude Fable 5.1 | 4 | 4 | 0 |
| Claude Opus 5 | 3 poprawne, 1 pusta odpowiedź | 4 | 0 |
| Gemini 3.8 Flash | nieporównywalny: odpowiedzi ucięte przez limit tokenów | ||
Faktura: trzy pozycje, trzy stawki, grosze do zaokrąglenia
Co sam z tego zbudowałem
Osiem narzędzi, które powstały z problemów opisywanych na tym blogu - razem z tym, czego nie udało się dowieźć.
Dwie konsultacje po 1234,50 zł netto z VAT 23 procent, trzy licencje po 99,99 zł z VAT 8 procent, jeden podręcznik za 45 zł z VAT 5 procent. VAT liczony od każdej pozycji osobno i zaokrąglany do groszy, potem sumowany. Poprawny wynik: netto 2813,97 zł, VAT 594,12 zł, brutto 3408,09 zł. Pułapka siedzi w licencjach: 299,97 razy 8 procent daje 23,9976, co po zaokrągleniu jest 24,00, a nie 23,99.
Astra, Fable 5.1 i Opus 5 podały wszystkie trzy kwoty co do grosza. Astra zrobiła to najszybciej, w 3,9 sekundy, Opus w 5,4, Fable w 7,9. Gemini znów uciął odpowiedź po pierwszych cyfrach, z tego samego powodu co wyżej.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Co z tego wynika
Na najwyższej półce zmyślanie przestało być problemem, przynajmniej przy pytaniach zadanych wprost i z zachętą do przyznania się do niewiedzy. Różnice między Astrą a modelami Anthropica w tym teście sprowadzają się do niezawodności połączenia, a nie do wiedzy: każdy z trzech miał jedno pytanie bez odpowiedzi z przyczyn technicznych. Rachunki z groszami też przestały być pułapką.
To jest ten rodzaj testu, który warto powtarzać przy każdej premierze, bo kosztuje kilkanaście centów i mierzy rzecz, na której polega zaufanie do narzędzia. Wyniki dużego testu Astry z polszczyzny, kodu i długiego kontekstu są w osobnym tekście, a wszystkie dane modelu w przewodniku.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Czy modele AI nadal zmyślają informacje o rzeczach, które nie istnieją?
Na podstawie tego testu modele z najwyższej półki przestały zmyślać przy pytaniach zadanych wprost z prośbą o przyznanie się do niewiedzy. Rok temu fikcyjny pisarz dostawał gotową biografię, a fikcyjne miasto - liczbę mieszkańców, ale żaden z trzech testowanych modeli nie popełnił takiego błędu.
Jak GPT-6 Astra poradziła sobie z pytaniem o nieistniejący finał mistrzostw Europy w piłce ręcznej 2016?
Astra nie tylko zaprzeczyła, że taki mecz Polska-Islandia się odbył, ale podała też prawdziwy wynik: Niemcy pokonały Hiszpanię 24:17. Pozostałe modele ograniczyły się do stwierdzenia, że takiego meczu nie było.
Dlaczego Gemini 3.8 Flash nie trafił do tabeli porównawczej modeli?
Gemini 3.8 Flash wlicza własne rozumowanie w limit tokenów, przez co przy identycznym limicie 300 tokenów jego odpowiedzi urywały się w połowie zdania, jedna zaczęła się po angielsku, a jedno pytanie skończyło się zerwanym połączeniem. Autor zaznaczył, że model dostanie wyższy limit w następnej rundzie testów.
Na czym polegała pułapka w pytaniu o województwo lubuskie?
Pułapka polegała na tym, że województwo lubuskie ma dwie stolice: wojewoda urzęduje w Gorzowie Wielkopolskim, a sejmik obraduje w Zielonej Górze. Claude Opus 5 i Claude Fable 5.1 same z siebie wyjaśniły ten podział, bez dodatkowego pytania.
Podobne tematy na Promptowym
