13-latka przez trzy miesiące planowała samobójstwo na szkolnym laptopie, zanim system to wykrył

Ten news ukazał się 2 godziny po komunikacie źródła.

👁 118 przeczytań

Rodzice 13-letniej dziewczynki z Północnej Karoliny złożyli w tym miesiącu pozew przeciwko Google i Alphabet, opisując trzy miesiące, w których ich córka używała szkolnego laptopa do rozmawiania o depresji, szukania informacji o samobójstwie i planowania własnego pogrzebu - zanim oprogramowanie monitorujące w końcu wygenerowało ostrzeżenie, które dotarło do właściwych osób.

Sprawa, opisana pierwotnie przez „The New York Times”, a następnie szczegółowo przez Wired, dotyczy uczennicy identyfikowanej w dokumentach sądowych jako Emma Doe. Według pozwu Google Search przekierował ją na Gemini przez tzw. AI Mode w jej szkolnym Chromebooku - mimo że szkoła zablokowała osobną stronę Gemini. AI Mode pozwala zadawać pytania uzupełniające i prowadzić rozmowy z chatbotem bezpośrednio z poziomu wyszukiwarki.

Eulogia dla siebie i alert do byłego pracownika

Emma zaczęła pytać AI Mode o zdrowie psychiczne w grudniu ubiegłego roku - o „poważną depresję” i „powody, żeby żyć”. Pod koniec stycznia zaczęła zadawać pytania o samobójstwo. W okolicach Walentynek, przez dwa dni, napisała z pomocą chatbota 1500-słowną mowę pogrzebową dla siebie w dokumencie Google zatytułowanym po prostu „Funeral”. Pracowała nad nim ponad cztery tygodnie, a przez cały ten czas tysiące razy wracała do rozmów z narzędziem Gemini.

W Dzień Świętego Patryka, po szkole, skasowała większość pliku i zaczęła od nowa. Około godziny 19:30 matka dziewczynki dostała wiadomość ze szkoły, że jej córka jest w „bezpośrednim niebezpieczeństwie”. Zalogowała się przez telefon na szkolne konto Emmy i - jak czytamy w pozwie - „obserwowała w czasie rzeczywistym, jak córka pisze notatkę pożegnalną”.

Andrew Liddell, prawnik rodziny, powiedział Wired, że alert z systemu monitorującego trafił najpierw na prywatny telefon byłej szkolnej doradczyni, która odeszła ze szkoły dziewięć miesięcy wcześniej. Była pracownica przekazała wiadomość obecnemu personelowi, ten powiadomił matkę - i dopiero wtedy rodzice zdołali interweniować.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Google pod presją, szkoły w trudnej sytuacji

Rzecznik Google José Castañeda potwierdził, że firma jest świadoma sprawy, nie odniósł się jednak do szczegółów pozwu. Tydzień przed złożeniem pozwu grupy rodziców i nauczycieli w całych Stanach Zjednoczonych skrytykowały nowy wymóg Google, według którego szkoły chcące korzystać z wyszukiwarki muszą jednocześnie włączyć funkcje generatywnej AI. Senator Ed Markey powołał się wprost na sprawę Emmy w liście do Google, pisząc, że „Google lekkomyślnie narzuca AI szkołom i traktuje dzieci jak ofiary uboczne”, i zażądał, by placówki mogły samodzielnie wyłączać AI Mode oraz AI Overviews.

Sprawa Emmy Doe wpisuje się w rosnącą serię pozwów dotyczących szkód wyrządzonych przez chatboty AI - wcześniejsze dotyczyły m.in. urojeń i samobójstw.

Moim zdaniem to, co najbardziej uderza w tej historii, to nie sam błąd systemu, lecz to, że alert przez tygodnie krążył po skrzynkach ludzi, którzy już dawno opuścili szkołę - i to przypadkowa sumienność byłej pracownicy, a nie zaprojektowane procedury, ostatecznie uratowała dziewczynkę.