ChatGPT cytował fałszywe lokalne gazety. Jak to sprawdzić

👁 117 przeczytań

„Kalamazoo Beacon” wygląda jak lokalna gazeta z Michigan: pisze, że relacjonuje sprawy Kalamazoo i miasteczek nad jeziorem. Opublikowała 16 tekstów i wszystkie dotyczą jednego człowieka, demokratycznego kandydata do Izby Reprezentantów Seana McCanna. Kiedy dziennikarze NPR zapytali ChatGPT o jego okręg, chatbot uznał, że McCann ma „najbardziej szczegółowy” plan walki z drożyzną, i jako źródło podał właśnie Beacona.

Beacon nie jest wyjątkiem. To jedna z 37 stron sieci, którą wytropiła firma VisionHeight, a NPR sprawdziła, jak radzą sobie z nią chatboty. W 19 odpowiedziach, mniej więcej co drugiej, ChatGPT zacytował przynajmniej jeden tekst z tej sieci. W 17 z nich była to strona udająca lokalne medium.

Sieć z jednego wieczoru

VisionHeight opisała sieć w raporcie z 7 października. Wszystkie 37 domen zarejestrowano w połowie września jednego wieczoru, z czego 36 w niecałe osiem minut. Układ jest powtarzalny: na każdy z dziesięciu wyrównanych okręgów przypada strona udająca lokalną gazetę i strona z opiniami, obie promujące jednego demokratę. Do tego pięć stron zbiorczych i dwanaście stanowych. Teksty wyglądają na pisane przez AI, a zwrot „is the stronger choice” powtarza się w sieci ponad 360 razy. Kto za tym stoi, nie wiadomo.

Nie ma tu fałszywych cytatów ani sensacyjnych kłamstw. Jest coś skuteczniejszego: obszerne profile kandydatów po około 5 tys. słów i „przewodniki wyborcze” z 50-63 pytaniami i odpowiedziami, sformułowanymi tak, jak ludzie pytają chatboty. Strony zapraszają roboty AI (plik z instrukcjami wymienia 17 z nich, m.in. od OpenAI, Anthropic, Google i Perplexity), w kodzie oznaczają teksty jako artykuły prasowe, a według NPR każda ma plik llms.txt z listą artykułów w czystym tekście. Większość prawdziwych serwisów takiego pliku nie ma.

Karta narzędziaChatGPTWszystko o ChatGPT →

Dlaczego ChatGPT się nabrał

Badanie NPR autorstwa Huo Jingnan było proste. 37 pytań o 10 okręgów, zadanych ręcznie 22 i 23 października w ChatGPT, Gemini i wyszukiwarce Google, każde raz. To pojedynczy przebieg, nie statystyka - te same pytania jutro mogą dać inne odpowiedzi. Różnica między usługami jest jednak wyraźna. Gemini nie zacytował strony z sieci ani razu, a w siedmiu przypadkach odmówił odpowiedzi i odesłał do zewnętrznych źródeł. Google nie pokazał tych stron na pierwszej stronie wyników, choć VisionHeight na początku października znalazła tam jedną z nich, a Google przyznało, że zareagowało na naruszenie zasad.

ChatGPT wypadł najgorzej i nie poprawił się po interwencji. Kiedy NPR zgłosiło sprawę OpenAI, a potem pięć razy powtórzyło pytanie o okręg McCanna, Beacon pojawiał się w każdej odpowiedzi. OpenAI odpowiedziało tylko, że wyszukiwarka ChatGPT cytuje różne źródła, żeby ludzie mogli sami wyrobić sobie zdanie.

Mechanizm ma nazwę: data void, pustka informacyjna. O okręgu w Michigan nikt w internecie wiele nie pisze, bo lokalnych redakcji jest coraz mniej. Kiedy chatbot szuka odpowiedzi i trafia na teren, na którym prawie nic nie ma, bierze to, co jest i co wygląda na lokalne, aktualne i dobrze ułożone. Model nie sprawdza, kto stoi za tytułem. Ocenia, czy tekst pasuje do pytania, a te strony zbudowano dokładnie pod pytania.

GEO działa w obie strony

Najbardziej niewygodne w tej historii jest to, że lista technik sieci brzmi jak poradnik GEO, czyli optymalizacji treści pod wyszukiwarki AI. Wpuść roboty AI, pisz pytaniami i odpowiedziami, dodaj llms.txt, oznacz typ treści w kodzie. Sam piszę teksty, które chatboty cytują - jak to wygląda od strony liczb, opisałem przy okazji tego, jak Copilot wybiera źródła. Te same narzędzia, które pomagają uczciwemu serwisowi trafić do odpowiedzi, pomagają sieci bez redakcji i bez nazwisk. Format wygrywa z reputacją.

Dla polskich mediów to dwa wnioski naraz. Po pierwsze, lokalna gazeta, która nie pozwala robotom AI czytać swoich tekstów, zostawia miejsce w odpowiedziach chatbotów komuś innemu, także komuś takiemu jak Beacon. Decyzja o blokowaniu robotów nie jest więc neutralna; o tym, jak zmieniają się zasady w plikach robots.txt, pisałem przy wspólnym opt-oucie wielkich firm AI. Po drugie, metoda jest tania i przenośna. Kilkadziesiąt domen zarejestrowanych jednego wieczoru i tekst generowany maszynowo wystarczyły, żeby wpłynąć na odpowiedzi najpopularniejszego chatbota świata. Powiat, o którym pisze jedna gazeta albo żadna, jest dla takiej sieci równie łatwym celem jak okręg w Michigan.

Jak sprawdzić źródło odpowiedzi chatbota

Nie da się wymagać od każdego, żeby sprawdzał każdy przypis. Ale przy pytaniach o politykę, zdrowie i pieniądze kilka minut wystarcza:

1. Kliknij przypis. Odpowiedź bez źródła albo ze źródłem, którego nie otworzysz, traktuj jak plotkę. Chatboty potrafią też zmyślać przypisy - mój test na ten temat jest w tekście o halucynacjach AI.
2. Szukaj ludzi. Prawdziwa redakcja ma stopkę, nazwiska, adres, telefon. Strona bez autorów, z ogólnym „o nas”, to pierwszy sygnał.
3. Policz teksty. Beacon miał 16 artykułów o jednej osobie. Medium, które pisze tylko o jednym kandydacie albo jednej firmie, nie jest medium.
4. Sprawdź wiek domeny. WHOIS pokazuje datę rejestracji; dla adresów .pl służy do tego wyszukiwarka na stronie NASK (dns.pl). Gazeta „z tradycjami” założona trzy tygodnie temu to sprzeczność.
5. Wpisz nazwę w zwykłą wyszukiwarkę. Czy ktokolwiek inny powołuje się na ten tytuł? Lokalne media cytują się nawzajem, sieci zwykle żyją w próżni.
6. Zapytaj drugi model. W teście NPR Gemini i ChatGPT dały zupełnie różne źródła. Jeśli dwa chatboty się nie zgadzają, to dobry moment, żeby sięgnąć po źródło sam. Jak Perplexity radzi sobie z polskimi sprawami, sprawdzałem w osobnym teście.

VisionHeight przytacza w raporcie audyt NewsGuardu, który pokazuje skalę problemu jedną liczbą. Chatboty cytowały strony stronnicze w 48 proc. odpowiedzi o amerykańskich wyborach połówkowych, a ujawniły tę stronniczość w jednej odpowiedzi na 168. Chatbot nie powie ci, że jego źródło gra w czyjejś drużynie. Musisz to sprawdzić sam.