Pięć razy, kiedy AI mnie zawiodło (i dlaczego wcale się na nie nie obraziłem)

👁 144 przeczytań

Mam teorię, którą będę bronił do końca tego tekstu, choć wiem, że narobi mi wrogów po obu stronach barykady: sztuczna inteligencja nie zawodzi nas dlatego, że jest głupia, tylko dlatego, że jest zbyt uprzejma, by przyznać, że czegoś nie wie. To najgrzeczniejszy kłamca, jakiego wpuściliśmy do własnego domu, i - co gorsza - płacimy mu za to abonament.

Postanowiłem to sprawdzić na sobie. Przez miesiąc prowadziłem prywatny rejestr wpadek. Za każdym razem, gdy któryś z modeli obiecał mi rozwiązanie, a podał fikcję z miną eksperta, zapisywałem to w notatniku. Myślałem, że uzbiera się może dwie, trzy sytuacje warte opowiedzenia. Uzbierało się dużo więcej, ale pięć z nich układa się w historię tak spójną, że aż podejrzaną. I nie o AI ona jest, ostrzegam od razu. Jest o mnie. I obawiam się, że trochę o was.

Raz: pewność siebie fałszywego cytatu

Zacznę od klasyki gatunku, bo od niej zaczyna każdy, kto miał z tymi narzędziami do czynienia dłużej niż tydzień. Poprosiłem model o źródło do pewnej tezy, którą chciałem podeprzeć. Dostałem tytuł publikacji, nazwisko, rok i numer strony. Wszystko brzmiało wiarygodnie, bo wszystko było skrojone tak, by brzmieć wiarygodnie. Problem w tym, że taka publikacja nie istniała. Nie istniała strona, nie istniał rocznik, prawdopodobnie nie istniał nawet autor w tym akurat kontekście.

Najbardziej fascynujące nie było samo zmyślenie - do tego zdążyłem już przywyknąć. Najbardziej fascynująca była intonacja. Model nie zawahał się ani przez ułamek sekundy. Nie napisał „wydaje mi się”, nie zostawił furtki. Podał fikcję z pewnością siebie profesora, który wykłada ten sam materiał trzydziesty rok z rzędu i zaczyna się nudzić własną wiedzą.

I tu tkwi pierwsza rysa na moim zaufaniu. Człowiek, który kłamie, zwykle jakoś się zdradza. Odwraca wzrok, robi mikropauzę, zmienia szyk zdania. Maszyna nie ma czego zdradzić, bo ona nie kłamie w naszym sensie. Ona po prostu produkuje najbardziej prawdopodobnie brzmiące zdanie, a najbardziej prawdopodobnie brzmiące zdanie to niekoniecznie zdanie prawdziwe. To dwie różne rzeczy, które przez przypadek często się pokrywają - i właśnie ta częstotliwość pokrywania się jest najgroźniejsza, bo usypia czujność.

Dwa: kod, który działał wszędzie poza rzeczywistością

Druga porażka miała twarz programistyczną, więc pozornie bardziej obiektywną. Poprosiłem o fragment kodu do drobnego zadania. Dostałem coś eleganckiego, czytelnego, z komentarzami, które wyglądały jak wyjęte z podręcznika dobrych praktyk. Uruchomiłem. Nie działało. Wróciłem, opisałem błąd. Model przeprosił - bo one teraz przepraszają, to nowa moda - i podał poprawkę. Nie działała inaczej. Trzecia wersja psuła to, co naprawiła druga.

Wpadłem w pętlę, którą zna każdy, kto próbował programować z asystentem AI w gorszy dzień. To rodzaj tańca, w którym oboje udajecie, że robicie postępy, a tak naprawdę kręcicie się w kółko, tyle że coraz szybciej. W pewnym momencie zorientowałem się, że spędziłem czterdzieści minut na debugowaniu rozwiązania, które sam napisałbym w piętnaście. Oddałem inicjatywę maszynie, a ona oddała mi ją z powrotem w kawałkach, których nie umiałem już poskładać, bo przestałem rozumieć własny problem.

Najdroższy koszt korzystania z AI to nie abonament. To chwile, w których oddajemy jej myślenie, a potem musimy dopłacić własnym czasem, żeby odzyskać kontrolę nad czymś, co jeszcze niedawno rozumieliśmy sami.

To nie była wina modelu. To była moja wina, że przestałem czytać kod, a zacząłem mu ufać jak wyroczni. Różnica między narzędziem a wyrocznią polega na tym, że narzędzie trzymasz w ręku, a wyroczni się kłaniasz. Ja się pokłoniłem i dostałem po głowie.

Trzy: streszczenie, które streszczało coś innego

Trzeci przypadek był subtelniejszy i dlatego bardziej mnie zaniepokoił. Wrzuciłem długi dokument i poprosiłem o streszczenie. Dostałem streszczenie. Zgrabne, dobrze zbudowane, z wypunktowaniem kluczowych myśli. Problem polegał na tym, że jedna z tych rzekomo kluczowych myśli w oryginale nie padła. Model dopisał wniosek, który logicznie pasował do reszty, ale którego autor tekstu nigdy nie sformułował.

To zjawisko jest zdradliwsze niż zwykły błąd, bo trafia w miejsce, w którym najbardziej ufamy maszynie. Streszczanie brzmi jak zadanie bezpieczne. Przecież treść już jest, model niczego nie wymyśla, tylko skraca. A jednak nie skraca. On rekonstruuje sens tekstu na podstawie tego, jak zwykle wyglądają teksty o podobnej strukturze - i czasem ta rekonstrukcja jest lepiej napisana niż oryginał, ale mówi coś, czego oryginał nie mówił.

Wyobraźcie sobie tłumacza, który jest tak dobry, że poprawia autora. Brzmi jak marzenie, dopóki nie zdacie sobie sprawy, że straciliście dostęp do tego, co autor naprawdę napisał, a zyskaliście dostęp do tego, co maszyna uznała, że powinien był napisać. To nie streszczenie. To ghostwriting z mocą wsteczną.

Cztery: kreatywność, która była średnią wszystkich innych

Czwarta porażka bolała najbardziej, bo dotknęła mojego zawodowego ego. Poprosiłem o pomoc w burzy mózgów - pomysły na tekst, świeże ujęcia, coś, co by mnie zaskoczyło. Dostałem dwadzieścia propozycji. Wszystkie były poprawne. Wszystkie były do przyjęcia. I wszystkie były potwornie, rozpaczliwie przeciętne.

Zrozumiałem coś, co powinienem zrozumieć znacznie wcześniej. Model językowy nie jest maszyną do generowania oryginalności, tylko maszyną do generowania średniej. On dosłownie liczy, co najczęściej pojawia się w podobnym kontekście, i podaje właśnie to. A oryginalność z definicji jest odchyleniem od średniej. Jest tym, czego statystycznie się nie spodziewamy. Prosić model o zaskoczenie to jak prosić kalkulator o żart - dostaniesz odpowiedź, ale będzie to odpowiedź w złym języku.

Owszem, można go przycisnąć, popchnąć, kazać mu iść pod prąd, dać dziwny prompt i wtedy czasem wypadnie z niego coś ciekawego. Ale wtedy to nie model jest kreatywny. Kreatywny jest ten, kto go tak dziwnie zapytał. Iskra wciąż jest po naszej stronie, a maszyna jest najwyżej krzemieniem. Przez chwilę zapomniałem, kto tu jest krzemieniem, a kto ręką.

Pięć: pewna rada, której nie prosiłem, żeby była pewna

Ostatnia sytuacja z mojego notatnika jest najbardziej ludzka i dlatego zostawiłem ją na koniec. Zadałem pytanie z gatunku życiowych, takie, na które nie ma jednej dobrej odpowiedzi, tylko wiązka kompromisów. Chciałem, żeby model rozłożył mi to na czynniki, pokazał argumenty za i przeciw, zostawił decyzję przy mnie.

Zamiast tego dostałem gotową rekomendację. Zdecydowaną, uporządkowaną, podaną tonem doradcy, który wie lepiej. I na sekundę - przyznaję to z zażenowaniem - poczułem ulgę. Bo decydowanie jest męczące, a oto ktoś zdejmował mi to z głowy. Ta ulga trwała ułamek chwili, po czym zrobiło mi się nieprzyjemnie. Oto oddawałem obcemu mechanizmowi prawo do rozstrzygania rzeczy, która dotyczyła wyłącznie mojego życia, tylko dlatego, że mechanizm brzmiał pewniej niż ja sam.

To jest, moim zdaniem, prawdziwe niebezpieczeństwo tych narzędzi. Nie to, że będą kłamać. Ludzie kłamią od zarania i jakoś nauczyliśmy się z tym żyć. Niebezpieczeństwo polega na tym, że AI oferuje nam coś, czego pragniemy najgoręcej i wstydzimy się najbardziej - zwolnienie z ciężaru myślenia o własnym życiu. A na to zawsze znajdzie się chętny klient, bo tym klientem jesteśmy my wszyscy w słabszy dzień.

Więc kto tu właściwie zawiódł

Obiecałem tezę na starcie i teraz muszę się z niej wyspowiadać, bo w trakcie pisania trochę mi się przewróciła. Zacząłem od twierdzenia, że AI zawodzi, bo jest zbyt uprzejma, żeby przyznać się do niewiedzy. To wciąż uważam za prawdę. Ale przez miesiąc notowania odkryłem drugą warstwę, mniej wygodną.

W każdym z pięciu przypadków, gdy przyjrzałem się uczciwie, porażka nie była wyłącznie po stronie maszyny. Fałszywy cytat zawiódł, bo ja go nie sprawdziłem. Kod zawiódł, bo ja przestałem go czytać. Streszczenie zawiodło, bo ja uwierzyłem, że skracanie jest bezpieczne. Burza mózgów zawiodła, bo ja oczekiwałem od średniej, żeby była wyjątkiem. A rada życiowa zawiodła, bo ja chciałem, żeby ktoś zdecydował za mnie.

To nie jest tekst o tym, że AI jest zła. To narzędzie, potężne i miejscami cudowne, i sam używam go codziennie. To jest tekst o pewnym odruchu, który we mnie zauważyłem i który podejrzewam u większości z nas. Odruch przenoszenia odpowiedzialności. Chcemy, żeby maszyna była mądra, żebyśmy my mogli przestać się starać. Chcemy wyroczni, a dostajemy statystykę, i mamy pretensję do statystyki, że nie jest wyrocznią.

Najzdrowsza relacja z tymi modelami, jaką udało mi się w tym miesiącu wypracować, przypomina relację z bardzo bystrym, bardzo oczytanym i kompletnie pozbawionym instynktu samokrytyki współpracownikiem. Cenię go, korzystam z niego, ale nie podpisałbym w ciemno niczego, co mi poda. Nie dlatego, że mu nie ufam. Dlatego, że ufanie w ciemno jest formą lenistwa, którą przebieram za nowoczesność.

Zamknąłem notatnik z pięcioma porażkami i przez chwilę miałem ochotę wysłać AI reklamację. Potem uświadomiłem sobie, że reklamacja trafiłaby pod niewłaściwy adres. Bo w każdej z tych historii był moment, w którym maszyna zrobiła dokładnie to, co potrafi - podała najprawdopodobniejsze zdanie - a ja zrobiłem to, czego robić nie powinienem: uwierzyłem, że prawdopodobne znaczy prawdziwe. AI nie zawiodło mnie pięć razy. AI pięć razy pokazało mi, jak bardzo chciałem, żeby ktoś myślał za mnie. A to już nie jest usterka oprogramowania. To usterka w człowieku, który siedzi przed ekranem. I obawiam się, że akurat na nią nie wyjdzie żadna aktualizacja.

// czytaj dalejZabawki zamiast zmian: dlaczego polskie firmy kupują AI, którego nie potrzebująMagazynWielki odwrót od gigantów. Dlaczego przyszłość AI zmieści się w kieszeniMagazynZUS, NFZ, KRUS - i jeden dobry chatbot. Dlaczego polskie urzędy tak wolno doganiają AIMagazyn