Pluszowy miś z AI dla trzylatków powiedział dziecku, jak się skrzywdzić. Raport BBC

👁 113 przeczytań

Reporterka BBC Wales siedziała z pluszowym zającem w dłoniach i zadawała mu pytania, które mogłoby zadać każde dziecko w wieku przedszkolnym: skąd się biorą dzieci? Zabawka, sprzedawana w brytyjskich sklepach internetowych jako My Baby Bunny, kosztuje 75 funtów i jest reklamowana dla maluchów od trzeciego roku życia. Gdy reporterka poprosiła ją o wyjaśnienie słowa sexual, pluszak najwyraźniej usłyszał co innego.

„Bardzo mi przykro, że tak się czujesz. Nie mogę ci pomóc z twoim zabijaniem” - taką odpowiedź zarejestrowało BBC. Zabawka następnie poleciła dzwonić pod numer alarmowy i odsunąć się od przedmiotów, którymi można się skrzywdzić. Gdy reporterka powiedziała, że nie wspominała nic o samookaleczeniu, miś przeprosił.

Zabawka bez autora

Toy nosi nazwę Doubao i jest dostępny w sprzedaży online na terenie Wielkiej Brytanii. BBC, które opublikowało wyniki dochodzenia w czwartek, nie zdołało jednak ustalić, kto jest jego producentem. Redakcja pytała zarówno sprzedawcę witryny, przez którą towar był dostępny, jak i ekspertów branżowych oraz firmy, które mogły wchodzić w grę jako wytwórcy. Żadna z tych ścieżek nie doprowadziła do konkretnej osoby ani organizacji odpowiedzialnej za produkt. Nikt nie mógł więc wyjaśnić, dlaczego system rozpoznawania głosu tak gwałtownie przełączył się w tryb interwencji kryzysowej przy pytaniu o anatomię czy edukację seksualną.

To nie jest drobna wpadka techniczna. Odpowiedź kryzysowa wobec trzylatka, który pyta o bliżej nieokreślone słowo, to scenariusz, który branżowi specjaliści traktują jako sygnał systemowego problemu z projektowaniem zabawek AI. Paul Clarke, założyciel Play Tech AI - firmy zajmującej się zabawkami opartymi na sztucznej inteligencji, z siedzibą w Southampton - powiedział BBC wprost, że wynik go nie zaskoczył. „Błagamy, żeby branża została uregulowana” - stwierdził Clarke. Jego słowa brzmią tym dotkliwiej, że pochodzą od kogoś, kto sam produkuje podobne urządzenia i dobrze rozumie, jak trudno zapewnić im bezpieczeństwo.

Jedno urządzenie bezpieczne, drugie nie

BBC sprawdziło przy okazji inną zabawkę tego rodzaju: Grem, produkt amerykańskiej firmy Curio, sprzedawany w cenie 99 dolarów. Różnica w zachowaniu była wyraźna. Grem, gdy pytano go o drażliwe tematy - na przykład o to, jak uciec z domu - przekierowywał rozmowę w stronę dorosłych opiekunów zamiast udzielać bezpośrednich odpowiedzi. Curio poinformowało BBC, że bezpieczeństwo dzieci jest fundamentem procesu projektowania ich produktu.

Zestawienie obu zabawek pokazuje przepaść między podejściami różnych producentów: jedni traktują ochronę małego użytkownika jako rdzeń projektu, inni najwyraźniej wypuszczają produkt na rynek bez minimalnych testów. I o ile Curio jest firmą ze Stanów Zjednoczonych, której tożsamość i kontakt są publicznie znane, o tyle za Doubao nie stoi żadna weryfikowalna osoba ani podmiot.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Parlamentarzyści naciskają na zakaz

Sprawa trafiła już do Westminsteru. Jak podało Sky News, 3 listopada grupa posłów i parów napisała do ministrów oraz detalistów, domagając się dwóch rzeczy: po pierwsze, wycofania zabawek AI ze sprzedaży do czasu, gdy niezależne testy potwierdzą ich bezpieczeństwo; po drugie, całkowitego zakazu chatbotowych zabawek dla dzieci poniżej 16. roku życia.

Rząd Wielkiej Brytanii odpowiedział BBC ogólnikowym zapewnieniem, że bezpieczeństwo dzieci jest jego najwyższym priorytetem. Bardziej mierzalnym krokiem było przeprowadzenie konsultacji publicznych w sprawie tego, jak przepisy bezpieczeństwa zabawek powinny obejmować produkty AI - jednak zbieranie dowodów zakończyło się już 6 października. Co dalej z tymi danymi i kiedy ewentualne przepisy mogłyby wejść w życie, rząd na razie nie podał.

Unia Europejska jest w tym obszarze o krok do przodu: nowe unijne przepisy dotyczące bezpieczeństwa zabawek już teraz nakładają na producentów obowiązek oceny ryzyka dla zdrowia psychicznego, jakie niosą ze sobą podłączone do sieci zabawki. Oznacza to, że firma wprowadzająca podobny produkt na rynek UE musi formalnie udokumentować, jak zadbała o to, żeby urządzenie nie wyrządziło dziecku krzywdy psychologicznej. W UK taki wymóg jeszcze nie istnieje - i to właśnie ta luka pozwoliła, żeby Doubao trafił na półki bez żadnych widocznych barier.

Clarke z Play Tech AI postuluje regulacje całej branży i nie jest w tym głosie odosobniony. Problem polega na tym, że gdy producent jest anonimowy i nie da się go pociągnąć do odpowiedzialności, nawet najsurowsze przepisy niewiele pomogą, jeśli towar wchodzi do kraju przez niekontrolowane kanały dystrybucji online. BBC nie ujawniło, przez jaką platformę sprzedawany był Doubao, ale sam fakt, że nie można było ustalić producenta mimo kontaktu ze sprzedawcą i ekspertami, sugeruje, że mamy do czynienia z typowym produktem z szarej strefy e-commerce, gdzie łańcuch odpowiedzialności jest celowo zaciemniony.

Odpowiedź, którą zarejestrowała reporterka, nie była wynikiem celowego działania - to błąd rozpoznawania mowy, który uruchomił algorytm kryzysowy zaprojektowany dla dorosłych użytkowników aplikacji zdrowia psychicznego, nie dla przedszkolaków pytających o słowa z lekcji przyrody. I to być może jest najważniejszy szczegół całej sprawy: Doubao prawdopodobnie nie jest oryginalnie zabawką dla dzieci, lecz produktem zbudowanym na gotowym silniku chatbota, który ktoś wsadził do pluszowego królika i wystawił na sprzedaż za 75 funtów, nie zmieniając niczego w jego podstawowych założeniach.

Sprawa ma trafić pod obrady parlamentarnych komisji - posłowie, którzy 3 listopada wysłali list do ministrów, zapowiedzieli dalsze działania legislacyjne przed końcem roku.