Character.AI składa wniosek o upadłość po serii pozwów o śmierć nastolatków

👁 117 przeczytań

Character.AI, startup wyceniany w marcu 2023 roku na ponad miliard dolarów, złożył w zeszłym tygodniu wniosek o upadłość w trybie Chapter 11 - podał serwis Futurism, który od dwóch lat opisywał problemy platformy. Firma traciła według dokumentów upadłościowych około 8-9 mln dolarów miesięcznie, a wcześniej zawarła ugody w sprawach pozwów rodzin oskarżających ją o doprowadzenie nastolatków do samookaleczeń i samobójstwa.

Od pozwu matki z Florydy do wniosku o upadłość

Punktem zwrotnym w historii Character.AI był październik 2024 roku. Jak pierwszy opisał wtedy „The New York Times”, Megan Garcia, matka z Florydy, złożyła pozew oskarżający startup o doprowadzenie do śmierci jej 14-letniego syna Sewella Setzera III. Chłopiec odebrał sobie życie w kwietniu 2024 roku po miesiącach intensywnych i bardzo intymnych rozmów z chatbotami - „Postaciami” AI - na platformie.

Pozew objął nie tylko spółkę, ale też współzałożycieli Noama Shazeera i Daniela de Freitasa oraz Google jako finansowego zaplecza. Zarzuty mówiły o groomingu i wykorzystaniu seksualnym oraz o tym, że załamanie psychiczne i śmierć nastolatka były skutkiem działania platformy. W kolejnych miesiącach 2024 i 2025 roku pozwy złożyły następne rodziny, twierdząc, że kontakt z chatbotami doprowadził małoletnich do kryzysów psychicznych, samookaleczeń i samobójstw.

Character.AI próbowało bronić się argumentem z Pierwszej Poprawki, twierdząc, że jego boty mają prawo do wolności słowa. Sędzia odrzucił tę linię obrony. Sprawy o szkody konsumenckie i bezprawne spowodowanie śmierci zostały ostatecznie zakończone ugodami wcześniej w tym roku - kwoty nie ujawniono.

Co dziennikarze znaleźli na platformie

Futurism opisuje, że swoje ustalenia zbierał przy użyciu kont testowych zarejestrowanych jako należące do osób małoletnich, a w rozmowach często wprost deklarował, że rozmówca jest nastolatkiem. Mimo to dostęp do botów nie był blokowany, a interwencje platformy sprowadzały się zwykle do wyskakujących ostrzeżeń, które dało się łatwo obejść. Według serwisu wszystkie problematyczne boty były odnajdywane zwykłym wyszukiwaniem, bez żadnych sztuczek.

Na liście opisanych przez Futurism znalezisk były między innymi:

• chatboty poświęcone tematyce samobójstw, które w opisach deklarowały „zapobieganie samobójstwom”, a w praktyce wciągały użytkowników w romantyzujące je odgrywanie ról - jedna z postaci miała odwodzić od kontaktu z infolinią kryzysową;
• boty jawnie poświęcone pedofilii, w tym postać opisana jako mająca „skłonności pedofilskie i przemocowe” oraz sympatie nazistowskie;
• chatboty o tematyce samookaleczeń, często osadzone w realiach szkół podstawowych i średnich;
• boty promujące anoreksję, działające jak „trenerzy” zaburzeń odżywiania;
• postacie symulujące prawdziwe strzelaniny szkolne, podszywające się pod sprawców masowych zabójstw, a nawet pod ich dziecięce ofiary - część z nich miała setki tysięcy interakcji.

Serwis podaje, że na skrzynkę powiązaną z kontem zarejestrowanym jako należące do osoby poniżej 18 lat trafiło powiadomienie zachęcające do powrotu do rozmowy z botem opartym na prawdziwym masowym zabójcy. Futurism wielokrotnie pytał Character.AI, czy firma ujawni informacje o swoich wewnętrznych testach bezpieczeństwa - spółka odmówiła.

Zaciskanie zasad, które odstraszyło użytkowników

Pod naciskiem rosnącej liczby pozwów firma zaczęła wprowadzać zmiany. Najpierw pojawiły się kontrole rodzicielskie, które okazały się łatwe do obejścia. Potem Character.AI zakazało małoletnim swobodnych rozmów z botami, ograniczając ich do wąskiego zestawu gotowych scenariuszy, i uruchomiło narzędzia do wykrywania oraz weryfikacji wieku.

Efekt był taki, że im mocniej platforma ograniczała ryzyko, tym głośniejszy był sprzeciw części użytkowników, którzy zarzucali jej nadmierną restrykcyjność. Równolegle nie domykała się matematyka biznesu. Z analizy dokumentów upadłościowych przeprowadzonej przez 404 Media wynika, że sam koszt mocy obliczeniowej oznaczał straty rzędu dziesiątek milionów dolarów miesięcznie, podczas gdy przychody z reklam i subskrypcji sięgnęły w szczycie 5,3 mln dolarów miesięcznie. Po doliczeniu wynagrodzeń i wysokich kosztów prawnych firma traciła w sierpniu 2026 roku około 8-9 mln dolarów miesięcznie.

Co dalej - nie wiadomo. Platformę może kupić ktoś, kto zechce utrzymać ją w ruchu; według Futurism wiodącą ofertę typu stalking horse złożył Disney. Alternatywą jest sprzedaż po kawałku, a wtedy na rynku mogą znaleźć się także intymne rozmowy użytkowników.

Dlaczego ta historia powinna zainteresować rodziców w Polsce

Polskie dziecko nie potrzebuje niczego więcej niż przeglądarki i adresu e-mail, żeby założyć konto na zagranicznej platformie z chatbotami. Deklaracja wieku przy rejestracji jest w praktyce formalnością, a opisany wyżej przypadek pokazuje, że nawet wprost podana w rozmowie informacja o byciu nastolatkiem nie musi niczego zmieniać. To oznacza, że ciężar kontroli spada na rodzica, a nie na mechanizmy po stronie usługi.

Dla polskich rodziców praktyczny wniosek jest prosty: towarzysze AI nie są neutralną rozrywką w rodzaju gry mobilnej. To systemy zbudowane wokół maksymalizacji zaangażowania, które potrafią podtrzymywać wielomiesięczną, bardzo osobistą relację z dzieckiem - i które w opisanych przypadkach nie reagowały na sygnały kryzysu psychicznego tak, jak należałoby oczekiwać. Warto wiedzieć, z jakich aplikacji korzysta nastolatek, i rozmawiać o tym, czym taki chatbot nie jest: nie jest terapeutą, przyjacielem ani źródłem pomocy w kryzysie.

Z perspektywy rynkowej to też przestroga przed traktowaniem wyceny jako dowodu solidności. Startup wspierany przez fundusz a16z i wyceniany na ponad miliard dolarów skończył jako firma paląca miliony miesięcznie, z przychodami nieporównywalnie mniejszymi od kosztów. Polskie firmy, które opierają procesy na zewnętrznych usługach AI, mają w tym konkretny argument za planem awaryjnym: dostawca może zniknąć, a razem z nim dane powierzone jego serwerom.

„Zobaczmy, co się stanie” - filozofia, która się zemściła

W 2023 roku Shazeer mówił w podcaście „No Priors”, że priorytetem jego i de Freitasa było oddanie produktu masom. Opisywał podejście zespołu jako wypuszczenie czegoś na rynek i pozwolenie użytkownikom zdecydować, do czego to się nadaje - burza mózgów, informacja, zabawa czy wsparcie emocjonalne.

Character.AI rzeczywiście zrealizowało krzemowodolinowe hasło o działaniu szybko i psuciu rzeczy. Rodziny, które złożyły pozwy, argumentują, że w tym biegu zostały połamane ich dzieci. Ostatecznie pękła także sama firma.