Gdy AI się myli, człowiek musi przejąć stery - ale czy jeszcze umie?

Ten news ukazał się 1 godzina po komunikacie źródła.

👁 118 przeczytań

Badaczka zarządzania z Drexel University opisuje zjawisko, które nazwała latent risk - ukrytym ryzykiem polegającym na tym, że pracownicy nadzorujący systemy AI stopniowo tracą zdolność do samodzielnego wykonywania zadań, których ich organizacje wciąż od nich oczekują w sytuacjach awaryjnych.

Mechanizm jest prosty, ale przez to tym bardziej podstępny. System AI działa niezawodnie przez miesiące. Pracownik odpowiedzialny za nadzór przestaje szczegółowo weryfikować rekomendacje, bo doświadczenie pokazuje, że rzadko się one zmieniają po bliższej analizie. Zadanie staje się rutynowe - właściwie pozorne. Aż do momentu, gdy AI popełnia błąd albo napotyka sytuację, której nie potrafi obsłużyć i prosi o interwencję człowieka.

I tu pojawia się pytanie: czy ten człowiek wciąż potrafi wykonać to zadanie samodzielnie?

Dlaczego ryzyko pozostaje niewidoczne

Autorką tego ujęcia jest profesor systemów informacyjnych zarządzania i dyrektorka akademicka Center for Applied AI & Business Analytics na Drexel University. W swoich badaniach nad relacją ludzi z systemami AI wskazuje ona na strukturalną cechę tego problemu: ryzyko jest latentne, bo organizacja go nie widzi tak długo, jak AI działa poprawnie. Nie ma żadnego sygnału ostrzegawczego. Kompetencje pracownika powoli zanikają, ale nikt tego nie mierzy, bo nie ma powodu - przecież system działa.

To odróżnia ukryte ryzyko od bardziej oczywistych zagrożeń. Gdyby AI regularnie się myliła, organizacja szybko by to zauważyła i podjęła działania. Problem pojawia się właśnie dlatego, że AI działa za dobrze i za długo.

Sama koncepcja nie jest zupełnie nowa - wyrasta z kilkudziesięciu lat badań nad tzw. automation bias. Eksperymenty z automatyzacją w lotnictwie, medycynie i przemyśle pokazują od dawna, że ludzie mają skłonność do pomijania sprzecznych dowodów i podążania za rekomendacją systemu automatycznego nawet wtedy, gdy inne informacje sugerują, że coś jest nie tak. Piloci przeoczali alarmy, lekarze akceptowali błędne diagnozy systemów wspomagania decyzji, operatorzy nie reagowali na anomalie, bo panel mówił, że wszystko jest w porządku.

Co jednak różni dzisiejszą sytuację od poprzednich fal automatyzacji, to skala i zakres zadań przejmowanych przez AI. Wcześniejsze systemy automatyzowały wąskie, powtarzalne czynności. Obecne systemy AI zaczynają przejmować znaczące części analizy i podejmowania decyzji, które dotychczas w całości należały do ludzi. To nie jest już kwestia obsługi jednego przycisku czy monitorowania jednego wskaźnika - to strukturalne przesunięcie w tym, kto (lub co) faktycznie myśli w organizacji.

Problem dotyczy praktycznie każdej branży, w której AI wspiera pracowników: od analityków finansowych weryfikujących rekomendacje algorytmów handlowych, przez pracowników medycznych akceptujących wyniki diagnostyki obrazowej, po prawników korzystających z AI do przeglądania dokumentów. We wszystkich tych przypadkach istnieje ten sam wzorzec: człowiek jest formalnie odpowiedzialny za wynik, ale faktycznie coraz rzadziej samodzielnie dochodzi do tego wyniku. Odpowiedzialność pozostaje, a praktyka zanika.

Badaczka zwraca uwagę na kluczowy paradoks modelu human in the loop, który jest powszechnie promowany jako odpowiedź na ryzyko związane z AI. Sam fakt, że człowiek formalnie nadzoruje system, nie oznacza, że jest w stanie skutecznie interweniować. Nadzór bez praktyki to nadzór pozorny. A organizacje, które wdrożyły AI zakładając, że ludzki nadzór działa jako siatka bezpieczeństwa, mogą się mylić co do tego, jak mocna jest ta siatka.

Odpowiedzią nie musi być rezygnacja z AI ani sztuczne utrzymywanie przestarzałych procesów. Ale wymaga to świadomego projektowania - celowego zachowania przestrzeni, w której ludzie regularnie wykonują zadania samodzielnie, nawet jeśli AI mogłaby je wykonać szybciej. Inaczej organizacje mogą odkryć prawdziwą sprawność swoich pracowników dopiero wtedy, gdy system zawiedzie - a to najgorszy możliwy moment na takie odkrycie.