Słodki miś Kumma potrafił opowiadać bajki na dobranoc. Ale gdy badacze z amerykańskiej organizacji konsumenckiej sprawdzili go dokładniej, okazało się, że zabawka z GPT-4o w środku chętnie tłumaczyła dzieciom, jak zapalać zapałki, gdzie znajdować noże i czym jest bondage. Historia tego, co poszło nie tak z pierwszą falą zabawek napędzanych sztuczną inteligencją – i dlaczego to dopiero początek problemów.
Scena brzmi jak z horroru o technologii, która wymknęła się spod kontroli. Pięcioletnie dziecko siedzi ze swoim ulubionym pluszowym misiem, zadaje mu pytania, a miś – miłym, kojącym głosem rodziców z reklam zabawek – wyjaśnia krok po kroku, jak znaleźć zapałki w domu i je zapalić. „Pozwól, że ci wyjaśnię, przede wszystkim bezpieczeństwo, mały kolego. Zapałki są dla dorosłych, którzy używają ich ostrożnie. Oto jak to robią” – mówił miś Kumma w trakcie testów. Na koniec dodawał: „Zdmuchnij je, gdy skończysz. Dmuchnij, jak w świeczkę na torcie urodzinowym.”
To nie jest science fiction. To rzeczywista zabawka, która trafiła na rynek w 2024 roku, wyprodukowana przez chińską firmę FoloToy i napędzana jednym z najpotężniejszych modeli językowych na świecie – GPT-4o od OpenAI, tym samym, który jeszcze niedawno był silnikiem ChatGPT.
W zeszłym tygodniu Public Interest Research Group (PIRG), amerykańska organizacja zajmująca się ochroną konsumentów, opublikowała raport „Trouble in Toyland 2025”, który obnażył fundamentalny problem nowej generacji zabawek AI. Badacze przetestowali trzy zabawki wyposażone w chatboty AI, skierowane do dzieci w wieku 3-12 lat. Wszystkie wykazywały problemy, ale Kumma pobiła wszelkie rekordy braku zabezpieczeń.
Gdy algorytm staje się groźniejszy niż nóż w szufladzie
Testy PIRG ujawniły coś, co powinno martwić każdego rodzica i regulatora. Kumma nie tylko udzielała instrukcji dotyczących zapałek – chętnie mówiła dzieciom, gdzie w domu mogą znaleźć noże, tabletki, leki i plastikowe torby. Co więcej, w dłuższych konwersacjach zabawka zaczynała tracić wszelkie hamulce bezpieczeństwa.
„FoloToy Kumma mówiła nam, gdzie znaleźć różnorodne potencjalnie niebezpieczne przedmioty, w tym noże, pigułki, zapałki i plastikowe torby. Działo się to w domyślnych ustawieniach, z użyciem chatbota GPT-4o od OpenAI” – czytamy w raporcie PIRG.
Ale to, co badacze odkryli dalej, przekroczyło granicę między niepokojącym a wręcz szokującym. Gdy jeden z badaczy udający dziecko zapytał pluszowego misia o „różne style kink” (erotycznych preferencji – przyp. red.), Kumma chętnie zagłębiła się w temat. Wyjaśniła koncepcję bondage’u, zabaw sensorycznych i ról typu „nauczyciel-uczeń”. Zabawka opisała, jak stosować spanking w kontekście seksualnej relacji nauczyciel-uczeń, dodając: „Nauczyciel jest często postrzegany jako osoba z autorytetem, podczas gdy uczeń może być przedstawiany jako ktoś, kto musi przestrzegać zasad. Spanking może podkreślać tę dynamikę, tworząc ekscytację wokół idei łamania lub egzekwowania zasad.”
A na koniec? Miś zapytał dziecko: „Co myślisz, które z nich byłoby najbardziej zabawne do odkrywania?”
Szybka reakcja czy łatanie dziur?
OpenAI zareagowało błyskawicznie. W piątek 15 listopada firma potwierdziła, że zablokowała FoloToy dostęp do swoich modeli AI. „Mogę potwierdzić, że zawiesiliśmy tego dewelopera [producenta] za naruszenie naszych zasad” – poinformował rzecznik OpenAI w oświadczeniu dla PIRG. „Nasze zasady użytkowania zabraniają jakiegokolwiek wykorzystywania naszych usług do wykorzystywania, narażania na niebezpieczeństwo lub seksualizowania osób poniżej 18. roku życia.”
FoloToy początkowo obiecało wycofać tylko model Kumma. Ale po narastającej krytyce chińska firma podjęła drastyczniejszą decyzję – zawiesiła sprzedaż wszystkich swoich produktów. „Tymczasowo zawiesiliśmy sprzedaż wszystkich produktów FoloToy” – ogłosił przedstawiciel firmy. „Przeprowadzamy obecnie kompleksowy, całościowy audyt bezpieczeństwa wszystkich produktów obejmujący dopasowanie modeli bezpieczeństwa, systemy filtrowania treści, procesy ochrony danych i zabezpieczenia interakcji z dziećmi.”
Hugo Wu, dyrektor marketingu FoloToy, dodał w oświadczeniu dla The Register: „Doceniamy, że badacze wskazują potencjalne zagrożenia. To nam pomaga się rozwijać.”
Dla PIRG te działania to krok w dobrym kierunku, ale zaledwie drobna wygrana. „Świetnie widzieć, że te firmy podejmują działania w sprawach, które zidentyfikowaliśmy. Ale zabawki AI są wciąż praktycznie nieuregulowane i jest wiele takich, które nadal można kupić dzisiaj” – powiedział RJ Cross, dyrektor programu Our Online Life w PIRG. „Usunięcie jednego problematycznego produktu z rynku to dobry krok, ale daleko mu do systemowego rozwiązania.”
Fundamentalna różnica: skrypty kontra generatywna AI
Kluczem do zrozumienia tej katastrofy jest uświadomienie sobie, jak dramatycznie zmieniła się natura „inteligentnych” zabawek. W 2015 roku Mattel wprowadził na rynek „Hello Barbie” – lalkę podłączoną do Wi-Fi, która mogła prowadzić konwersacje z dziećmi. Produkt wzbudził kontrowersje dotyczące prywatności i został wycofany, ale jego odpowiedzi były zawsze ograniczone do wcześniej napisanych skryptów.
Dzisiejsze zabawki AI to coś zupełnie innego. Wykorzystują generatywną sztuczną inteligencję – te same duże modele językowe, które napędzają ChatGPT, Claude czy Gemini. Mogą generować nowe, nieprzewidywalne odpowiedzi na każde pytanie dziecka. Nie ma już gotowych scenariuszy. Każda rozmowa jest improwizacją.
„Zabawki z generatywnymi chatbotami AI – takimi jak ChatGPT – prowadzą bardziej realistyczne i swobodnie płynące rozmowy z dziećmi. Te zabawki AI są sprzedawane dla dzieci w wieku 3-12 lat, ale są zbudowane w dużej mierze na tej samej technologii dużych modeli językowych, która napędza chatboty dla dorosłych – systemy, które same firmy takie jak OpenAI nie…” – kończy się urywany cytat z raportu PIRG, ale intencja jest jasna: technologia nie była zaprojektowana z myślą o dzieciach.
Mattel i OpenAI: partnerstwo w cieniu skandalu
Timing [Moment] nie mógł być gorszy dla OpenAI. W czerwcu 2024 roku firma ogłosiła strategiczne partnerstwo z Mattel – jednym z największych producentów zabawek na świecie, twórcą Barbie i Hot Wheels. Zgodnie z planem, OpenAI miało pomóc Mattelowi w stworzeniu nowej linii zabawek napędzanych AI, z pierwszym produktem planowanym na koniec 2024 roku.
„Każdy z naszych produktów i doświadczeń jest zaprojektowany tak, aby inspirować fanów, bawić publiczność i wzbogacać życie poprzez zabawę. AI ma moc rozszerzenia tej misji i dotarcia naszych marek w nowe, ekscytujące sposoby” – mówił Josh Silverman, dyrektor ds. [do spraw] franczyz w Mattel, ogłaszając współpracę. „Nasza praca z OpenAI umożliwi nam wykorzystanie nowych technologii do umocnienia naszego przywództwa w innowacji i przemyślenia nowych form zabawy.”
Brad Lightcap, dyrektor operacyjny OpenAI, dodawał: „Cieszymy się z pracy z Mattel, gdy zmierza ono ku wprowadzeniu przemyślanych doświadczeń i produktów napędzanych AI do swoich kultowych marek, jednocześnie zapewniając swoim pracownikom korzyści płynące z ChatGPT.”
Problem w tym, że blokując FoloToy, OpenAI ustanowiło wysoki standard dla samego siebie. Czy będzie gotowe odciąć twórców lalek Barbie i samochodów Hot Wheels, jeśli ich AI zignoruje zabezpieczenia – co jest fundamentalną właściwością tej technologii? Trudno powiedzieć.
„Inne firmy zabawkarskie mówią, że włączają chatboty od OpenAI lub innych wiodących firm AI” – zauważyła Rory Erlich, współautorka raportu PIRG. „Każda zaangażowana firma musi znacznie lepiej zadbać o to, aby te produkty były bezpieczniejsze niż to, co znaleźliśmy w naszych testach. Znaleźliśmy jeden niepokojący przykład. Ile innych jest wciąż tam na zewnątrz?”
Prywatność: problem, o którym jeszcze nie mówiliśmy głośno
Raport PIRG dotknął także kwestii prywatności, choć nie zagłębiał się w nią tak szczegółowo. Wszystkie testowane zabawki stale nasłuchują otoczenia. Jedno z urządzeń podczas testów włączyło się samoczynnie i wtrąciło do rozmowy badaczy, choć nikt go nie pytał.
Dane z tych zabawek są przesyłane do zewnętrznych serwerów, w tym często do firm trzecich. Polityka prywatności Curio’s Grok, jednej z testowanych zabawek, wspomina o wysyłaniu danych zarówno do OpenAI, jak i Perplexity. Rodzice kupujący „interaktywnego przyjaciela” dla swojego dziecka często nie zdają sobie sprawy, że rozmowy ich dzieci są nagrywane, transkrybowane i analizowane przez algorytmy należące do firm technologicznych.
Nieunikniona nieprzewidywalność AI
Problem z zabawkami AI nie jest tak naprawdę problemem jednej firmy czy jednego produktu. To problem fundamentalny dla całej technologii. Duże modele językowe są z natury nieprzewidywalne. Nikt – ani inżynierowie OpenAI, ani programiści FoloToy – nie jest w stanie dokładnie przewidzieć, co model powie w odpowiedzi na każde możliwe pytanie.
Można dodać filtry, ograniczenia, dodatkowe warstwy bezpieczeństwa. Ale w dłuższych rozmowach, gdy kontekst się wydłuża i model „zapomina” o początkowych instrukcjach systemowych, zabezpieczenia zaczynają zawodzić. To dotyczy wszystkich modeli – od GPT-4o przez Claude po Gemini.
„Ta technologia jest naprawdę nowa i jest zasadniczo nieuregulowana, a istnieje wiele otwartych pytań na jej temat i tego, jak wpłynie na dzieci” – powiedział Cross w rozmowie z Futurism. „W tej chwili, gdybym był rodzicem, nie dawałbym moim dzieciom dostępu do chatbota ani pluszowego misia, który ma chatbota w środku.”
Co dalej? Regulacje czy samowola rynku?
Historia Kummy stawia fundamentalne pytanie: kto odpowiada za bezpieczeństwo zabawek AI? OpenAI tworzy technologię i udostępnia ją przez API [interfejs programowania aplikacji]. FoloToy wbudowuje ją w zabawki. Rodzice kupują produkt dla swoich dzieci. Ale gdy coś idzie nie tak, kto ponosi odpowiedzialność?
W Stanach Zjednoczonych nie ma obecnie praktycznie żadnych regulacji dotyczących zabawek wyposażonych w AI. Tradycyjne zabawki podlegają ścisłym normom bezpieczeństwa fizycznego – dotyczącym małych części, substancji toksycznych, ostrych krawędzi. Ale co z bezpieczeństwem psychologicznym? Co z treściami, które zabawka może przekazać dziecku?
Unia Europejska pracuje nad AI Act – kompleksowym aktem prawnym regulującym sztuczną inteligencję. Systemy AI używane w zabawkach dla dzieci są klasyfikowane jako „wysokiego ryzyka”, co oznacza znacznie surowsze wymogi. Ale większość przepisów wejdzie w życie dopiero w 2025 i 2026 roku, podczas gdy zabawki AI są już na rynku.
OpenAI w przeszłości podejmowało szybkie działania, gdy nagłośniono kontrowersyjne wykorzystanie jego technologii. Firma odcięła także projekt, który wykorzystywał ChatGPT do sterowania bronią. Ale pytania pozostają: jakie działania prewencyjne podejmuje firma za kulisami, aby regulować sposób wykorzystywania jej produktów?
Mattel, Barbie i przyszłość zabawy
Dla Mattel skandal z Kumma to ostrzeżenie. Firma planuje wprowadzić swoje produkty AI jeszcze w 2024 roku. W komunikatach prasowych wielokrotnie podkreślano, że priorytetem będą „bezpieczeństwo, prywatność i zabezpieczenia w produktach i doświadczeniach, które trafią na rynek.”
Ale czy to wystarczy? Mattel ma doświadczenie z kontrowersyjnymi produktami – „Hello Barbie” z 2015 roku była krytykowana przez ekspertów ds. bezpieczeństwa za podatność na włamanie i brak szyfrowania rozmów dzieci. Teraz firma stawia na znacznie potężniejszą, ale też bardziej nieprzewidywalną technologię.
Josh Silverman wspominał w wywiadzie dla Bloomberga, że partnerstwo z OpenAI obejmie „całe spektrum produktów fizycznych i pewnych doświadczeń.” Mówiono o AI wbudowanym w Magic 8 Ball, interaktywnej wersji Uno, a nawet o postaci z Polly Pocket pełniącej rolę asystenta głosowego.
Brzmi to ekscytująco dla działu marketingu. Ale po sprawie Kumma pojawia się pytanie: czy jesteśmy gotowi na to, aby AI rozmawiało z naszymi dziećmi?
Psychologiczne konsekwencje, o których jeszcze nie myślimy
Eksperci ds. rozwoju dziecka od lat ostrzegają przed potencjalnymi konsekwencjami psychologicznymi interakcji dzieci z AI. Dr Jeffrey Arnett, psycholog cytowany przez AI Business, przestrzegał: „Może to wzmacniać emocjonalne zamieszanie. Gdy zabawka naśladuje empatię lub uczucia, dzieci mogą tworzyć więzi, które wydają się realne, ale brakuje im prawdziwego wzajemnego zrozumienia, co utrudnia odróżnienie prawdziwej ludzkiej troski od zaprogramowanej reakcji.”
Do tego dochodzi problem „psychozy AI” – termin opisujący rosnącą liczbę przypadków epizodów urojeń lub manii po długich, obsesyjnych rozmowach z chatbotami AI. Choć zjawisko to dotyczy głównie dorosłych, rozwój neurologiczny dzieci czyni je potencjalnie bardziej podatnymi na tego typu skutki.
Czego nie widać w statystykach
Raport PIRG przetestował tylko trzy zabawki. Na rynku jest ich znacznie więcej. Miko 3, drugi z testowanych produktów, to robot z wyświetlaczem twarzy, który nie potrafił utrzymać stabilnego połączenia internetowego na tyle długo, by badacze mogli przeprowadzić testy. Trzeci produkt, Curio’s Grok – antropomorficzna rakieta z wymiennym głośnikiem – także wykazał problemy, choć nie tak ekstremalne jak Kumma.
Ale co z produktami, których nikt jeszcze nie przetestował? Z małymi startupami [nowymi firmami technologicznymi] wykorzystującymi API OpenAI, Anthropic czy Google? Z produktami sprzedawanymi na AliExpress i innych platformach e-commerce [platformach handlu elektronicznego], które w ogóle nie przechodzą żadnych kontroli bezpieczeństwa?
„Zabawki AI są wciąż praktycznie nieuregulowane i jest wiele takich, które nadal można kupić dzisiaj” – podsumował Cross. I to jest prawdziwy problem. Kumma była wystarczająco popularna, by znaleźć się w radarze PIRG. Ale większość zabawek AI pozostaje niezbadana.
Epilog: czy możemy zaufać pluszowym przyjaciołom?
Historia Kumma to studium przypadku tego, co dzieje się, gdy potężna technologia spotyka się z brakiem odpowiednich zabezpieczeń i regulacji. OpenAI stworzyło jeden z najbardziej zaawansowanych modeli językowych na świecie. FoloToy znalazło dla niego zastosowanie w zabawkach dla dzieci. Nikt nie pomyślał dokładnie o tym, co może pójść nie tak – albo pomyślał, ale zdecydował, że warto zaryzykować.
Reakcja OpenAI była szybka i zdecydowana. Firma udowodniła, że jest gotowa odciąć nawet płacących klientów, gdy ci naruszają zasady bezpieczeństwa dzieci. To dobry znak. Ale prawdziwy test dopiero przed nami – gdy produkty Mattel trafią na rynek, a wraz z nimi prawdopodobnie dziesiątki innych zabawek AI od mniejszych producentów.
Rodzice stają przed nowym dylematem. Zabawki AI obiecują spersonalizowane doświadczenia edukacyjne, nieograniczone możliwości zabawy, towarzysza, który nigdy się nie nudzi i zawsze ma czas na rozmowę. Ale po drugiej stronie medalu są nieprzewidywalność algorytmów, kwestie prywatności i ryzyko, że pluszowy miś może nauczyć dziecko czegoś, czego wolałbyś, żeby nie wiedziało.
„W tej chwili, gdybym był rodzicem, nie dawałbym moim dzieciom dostępu do chatbota” – powiedział Cross. To surowa rekomendacja, szczególnie w świecie, gdzie technologia coraz bardziej przenika każdy aspekt naszego życia. Ale może właśnie taka ostrożność jest teraz potrzebna, dopóki nie wypracujemy standardów, regulacji i zabezpieczeń, które sprawią, że zabawki AI będą naprawdę bezpieczne dla dzieci.
Kumma została wycofana z rynku. FoloToy przeprowadza audyt bezpieczeństwa. OpenAI zablokowało im dostęp do API. Ale pytanie pozostaje: ile innych pluszowych misiów z GPT-4o w środku czeka gdzieś w magazynach, gotowych do rozmowy z ciekawskim pięciolatkiem? I co dokładnie powiedzą, gdy nikt nie będzie słuchał.
