Halucynacja chatbota postawiła samoloty w powietrzu. Policzyłem, ile błędów przepuszcza jeden etap weryfikacji

👁 115 przeczytań

Wiosną tego roku amerykańskie samoloty wojskowe były już w powietrzu, kiedy okazało się, że raport wywiadowczy, na którym oparto zbrojną operację przeciwko chińskiemu statkowi, został wymyślony przez chatbota. Operację odwołano w ostatniej chwili. Cały epizod opisało w piątek CNN, a relację TechCruncha warto czytać nie jako anegdotę o wpadce jednego analityka, ale jako opis konkretnej awarii proceduralnej, która ma swoją arytmetykę.

Według opisu źródła analityk Dowództwa Operacji Specjalnych zapytał chatbota, żeby ten zsyntetyzował dane z otwartych źródeł z niejawnym wywiadem sygnałowym. Model błędnie zinterpretował manifest ładunkowy statku i orzekł, że na pokładzie znajdują się komponenty do programu broni jądrowej. Potem ten sam analityk użył narzędzia po raz drugi - tym razem, żeby sformatować błędne wnioski w streszczenie wyglądające na oficjalny dokument. I to właśnie ten drugi krok jest w całej historii najgroźniejszy, bo halucynacja dostała opakowanie, które w kanałach dowodzenia czyta się jak produkt wywiadowczy.

Policzyłem, ile fałszywych raportów przechodzi przez jeden etap kontroli

Zrobiłem prosty rachunek, który każdy może powtórzyć na kartce. Przyjmijmy dwa parametry. Pierwszy to udział odpowiedzi zawierających nieprawdziwe stwierdzenie przy zadaniach polegających na streszczaniu i łączeniu dokumentów. W publicznych rankingach halucynacji przy streszczaniu dokumentów najlepsze modele schodzą poniżej dwóch procent, ale rozrzut w całej stawce sięga od okolic jednego procenta do kilkunastu - zestawienie Vectary pokazuje to najlepiej, a testy oparte na pytaniach wiedzowych, takie jak SimpleQA, dają dla wielu modeli kilkadziesiąt procent błędnych odpowiedzi na pytania faktograficzne. Zadanie z opisywanego incydentu - sklejenie danych jawnych z sygnałowymi i wyciągnięcie wniosku o ładunku - jest bliżej tej drugiej kategorii niż streszczania jednej strony tekstu. Przyjąłem konserwatywnie pięć procent.

Drugi parametr to skuteczność ludzkiej weryfikacji. Załóżmy, że analityk albo jego przełożony wyłapuje trzy błędy na cztery, czyli działa ze skutecznością 75 procent. To założenie hojne, bo dotyczy dokumentu, który sam wygląda profesjonalnie i pochodzi z własnej komórki. Przy takich liczbach z tysiąca raportów pięćdziesiąt zawiera błąd, z czego przez jeden etap kontroli przechodzi dalej dwanaście i pół. Dwanaście fałszywych raportów na tysiąc - to jeden na osiemdziesiąt. Dopiero dodanie drugiego, niezależnego etapu weryfikacji o tej samej skuteczności zbija ten wynik do trzech na tysiąc, a trzeciego - do niespełna jednego.

Wniosek z tego rachunku jest brutalnie prosty: w łańcuchu, w którym na tysiąc produktów analitycznych trafia kilkanaście zmyślonych, incydent w rodzaju wiosennego nie jest wypadkiem, tylko statystyką. Pytanie nie brzmi, czy się zdarzy, ale po ilu tysiącach zapytań. Jeśli w danym dowództwie modele obsługują dziesięć tysięcy zapytań analitycznych w roku - liczba zupełnie realistyczna przy narzędziu dostępnym z przeglądarki - to przy moich założeniach mamy sto dwadzieścia pięć błędnych produktów rocznie przechodzących przez pierwszą kontrolę.

Kontekst krytyczny to nie tylko wojsko. Sądy i medycyna dały już swoje rachunki

Warstwa wojskowa jest najbardziej spektakularna, ale nie pierwsza. W sądownictwie mamy już policzone przypadki: baza prowadzona przez francuskiego prawnika Damiena Charlotina od 2023 roku zebrała ponad tysiąc orzeczeń z całego świata, w których sąd stwierdził, że pełnomocnik powołał się na nieistniejące wyroki lub sfabrykowane cytaty wygenerowane przez model - rejestr jest publiczny i aktualizowany. Najbardziej znany polski przypadek dotyczy nie prawnika, lecz reakcji sądu: w sprawie Mata przeciwko Avianca w Nowym Jorku sędzia P. Kevin Castel ukarał dwóch adwokatów grzywną po pięć tysięcy dolarów, czyli około 18 900 złotych przy kursie 3,78 złotego za dolara.

W medycynie skala jest inna, bo tam błąd nie jest wyłapywany przez stronę przeciwną. Badania nad streszczaniem dokumentacji i transkrypcją konsultacji pokazywały, że narzędzia oparte na modelach dopisują do nagrań całe zdania, których nikt nie wypowiedział - zjawisko opisane m.in. przy analizach Whispera, gdzie w części przebadanych transkrypcji pojawiały się fragmenty całkowicie zmyślone. Jeden mechanizm, trzy różne branże: model generuje treść, która brzmi jak produkt eksperta, i zostaje potraktowana jak produkt eksperta.

„Ważne jest, by żołnierze rozumieli niepewność wpisaną w naturę modeli językowych. Ale szczególnie krytyczne jest to przy wszystkich decyzjach, które mogą prowadzić do użycia siły - przy wskazywaniu celów, analizie wywiadowczej czy planowaniu operacyjnym. Te decyzje mają konsekwencje w postaci życia i śmierci” - Jake Steckler, badacz w GovAI i były oficer armii USA, w pisemnej odpowiedzi dla TechCruncha.

Steckler dodaje przy tym coś, co łatwo przeoczyć: jego zdaniem incydent powinien być argumentem za dodaniem zabezpieczeń, a nie za rezygnacją z narzędzi. Stawianie tempa wdrożenia ponad wszystko doprowadzi do zdarzeń, które podkopią zaufanie żołnierzy do tych systemów, a to ostatecznie samo wdrożenie spowolni.

Co z tego ma polski czytelnik i polska armia

Polska nie ma na razie publicznie znanego odpowiednika opisanego incydentu, ale ma coś, co czyni pytanie aktualnym: własną strukturę zajmującą się AI w obronności. Wojska Obrony Cyberprzestrzeni działają od 2022 roku, a MON ogłosiło w 2024 roku powstanie Centrum Implementacji Sztucznej Inteligencji, którego zadaniem jest wdrażanie rozwiązań opartych na AI w Siłach Zbrojnych - resort komunikuje kolejne etapy na swoich stronach. Równolegle NATO ma od 2021 roku przyjętą strategię AI z sześcioma zasadami odpowiedzialnego użycia, w której osobno wymieniono wymóg identyfikowalności i możliwości przerwania działania systemu - tekst zasad jest dostępny publicznie.

Tu dochodzimy do luki, którą trzeba nazwać wprost. Unijne rozporządzenie o sztucznej inteligencji, czyli AI Act, w artykule 2 wyłącza ze swojego zakresu systemy używane wyłącznie do celów wojskowych, obronnych i bezpieczeństwa narodowego. To znaczy, że najbardziej rozbudowany europejski reżim wymagań dla systemów wysokiego ryzyka - dokumentacja, nadzór człowieka, rejestrowanie zdarzeń - do analityki wojskowej się nie stosuje. Ustawa o obronie Ojczyzny z 2022 roku również nie zawiera przepisu, który wprost regulowałby odpowiedzialność za decyzję opartą na błędnym produkcie wygenerowanym przez model. W praktyce odpowiedzialność wraca więc do ogólnych zasad: dyscyplinarnej i karnej odpowiedzialności żołnierza za niedopełnienie obowiązków oraz cywilnej odpowiedzialności Skarbu Państwa za szkodę wyrządzoną przy wykonywaniu władzy publicznej. Model nie jest podmiotem, więc nie ma kogo obwinić poza człowiekiem, który kliknął „wyślij”.

Praktyczna konsekwencja dla każdego, kto pracuje z dokumentami w instytucji publicznej, wojsku czy firmie zbrojeniowej, jest jedna i wynika z tego, co w opisanym incydencie zrobił analityk za drugim razem. Nigdy nie używaj modelu do formatowania wyników, które ten sam model wygenerował. Jeśli chatbot stworzył treść, to jego kolejne zadanie - nadanie jej wyglądu oficjalnego dokumentu - usuwa ostatni sygnał ostrzegawczy, jakim był surowy, chaotyczny output. Rozdzielenie tych dwóch operacji między różne narzędzia i różne osoby nie kosztuje nic i jest najtańszym zabezpieczeniem, jakie da się wprowadzić jeszcze dzisiaj.

Dwie prędkości, które się wykluczają

Pentagon otwarcie mówi o AI jako o narzędziu przyspieszającym łańcuch rażenia, żeby dowódcy mogli reagować w odpowiednim momencie. Problem polega na tym, że to ta sama prędkość, która pozwala halucynacji przejść przez kanały dowodzenia, zanim ktokolwiek zapyta o źródło. Zestawienie tych dwóch celów w jednej tabeli pokazuje, że nie są to dwa aspekty tego samego procesu, a dwie przeciwstawne funkcje celu.

Ostatni wiersz tej tabeli to mój rachunek z początku tekstu. Różnica między dwunastoma a trzema fałszywymi raportami na tysiąc to cena, jaką płaci się za drugi etap kontroli - i jedyna liczba, którą warto pokazać osobie decydującej o procedurze. Bo w kategoriach czasu ten drugi etap to kilka godzin opóźnienia, a w kategoriach ryzyka to zmniejszenie liczby zdarzeń typu „samoloty już w powietrzu” o trzy czwarte.

Nie ma w tej historii żadnego argumentu za wyrzuceniem modeli językowych z analityki. Jest natomiast bardzo mocny argument za tym, żeby traktować je jak narzędzie o znanym, mierzalnym współczynniku błędu - tak jak w wojsku traktuje się każdy inny sensor. Radar ma określone prawdopodobieństwo fałszywego wykrycia i nikt nie wystrzeliwuje rakiety po jednym odbiciu. Model językowy też ma taki współczynnik, tylko nikt go nie wpisał do instrukcji.

Fakty sprawdzone 20 września 2026. Źródła: TechCrunch o incydencie, ranking halucynacji Vectary, baza orzeczeń sądowych ze zmyślonymi cytatami, strategia AI NATO i zasady odpowiedzialnego użycia, komunikaty MON. Wyliczenia własne na podstawie założeń podanych w tekście. Kurs 3,78 zł za dolara.