Coraz więcej sygnalistów z branży AI ostrzega przed własnymi firmami

Ten news ukazał się 2 godziny po komunikacie źródła.

👁 119 przeczytań

David Robinson, lider ds. bezpieczeństwa w OpenAI, złożył rezygnację i opublikował esej, w którym nazwał odejście kolejnych pracowników tej firmy i jej konkurentów „paradą byłych kolegów”. To jednak nie jego odejście jest zjawiskiem nowym - Robinson dołączył do listy badaczy i inżynierów AI, którzy od kilku lat kolejno opuszczają czołowe laboratoria i publicznie ostrzegają przed praktykami, których byli świadkami od środka.

W eseju dla The Atlantic Robinson napisał wprost, że podejście „prób i błędów”, które dominuje w branży, musi się skończyć. Według niego firmy rozwijają zaawansowane systemy bez wystarczającego zrozumienia ich zachowania i skutków, jakie mogą wywołać.

Skąd bierze się ten trend

Pierwszym głośnym przypadkiem był Ed Newton-Rex, który w listopadzie 2023 roku odszedł ze stanowiska szefa zespołu audio w Stability AI - twórcy generatora obrazów Stable Diffusion. Powodem były obawy o sposób, w jaki materiały objęte prawem autorskim wykorzystywane są do trenowania modeli. W rozmowie z Fast Company Newton-Rex powiedział, że jego poglądy „nie są zgodne z aktualnym sposobem działania branży generatywnej AI” i że połączenie dominującego podejścia przemysłu z szybko postępującą technologią będzie „bardzo, bardzo złe dla twórców”. Po odejściu założył nonprofit Fairly Trained, który przyznaje certyfikaty firmom AI spełniającym określone wymogi dotyczące danych treningowych.

Kilka miesięcy później temat nabrał zupełnie innej skali. 4 czerwca 2024 roku opublikowany został list zbiorowy zatytułowany „A Right to Warn about Advanced Artificial Intelligence”, podpisany przez 13 obecnych i byłych pracowników największych laboratoriów AI. W dokumencie wymieniono ryzyka rozciągające się od „utrwalania istniejących nierówności, manipulacji i dezinformacji” aż po „utratę kontroli nad autonomicznymi systemami AI, która może doprowadzić do wyginięcia ludzkości”. Sygnatariusze wyrazili niepokój brakiem odpowiedniego nadzoru nad rozwojem tych technologii.

Wśród podpisanych znaleźli się: Ramana Kumar, były pracownik Google DeepMind; Neel Nanda, który pracował dla Anthropic, a następnie przeszedł do Google DeepMind, gdzie kieruje zespołem zajmującym się mechanistyczną interpretowalnością; oraz aż 11 obecnych i byłych pracowników OpenAI. Wśród nich byli m.in. Jacob Hilton, pracujący dziś w Alignment Research Center; Daniel Kokotajlo, który założył i kieruje nonprofit AI Futures Project; William Saunders, Carroll Wainwright i Daniel Ziegler - ten ostatni trafił później do Anthropic. Sześciu sygnatariuszy pozostało anonimowych.

To zestawienie pokazuje coś istotnego: lista obejmuje osoby z różnych firm - Google DeepMind, Anthropic i OpenAI - co oznacza, że opisywane problemy nie dotyczą jednego laboratorium, lecz całej branży. Charakterystyczne jest też to, że wielu sygnalistów nie porzuca AI jako dziedziny, lecz przenosi się do organizacji non-profit lub badawczych skupionych na bezpieczeństwie i wyrównaniu celów systemów z ludzkimi wartościami.

Zjawisko to odzwierciedla napięcie widoczne w branży od kilku lat: firmy ścigają się o jak najszybsze wdrożenie kolejnych generacji modeli, podczas gdy część ich własnych badaczy uważa, że tempo przewyższa zdolność do przewidzenia konsekwencji. Odejścia i listy otwarte to jak dotąd główne narzędzie, jakim dysponują ci pracownicy - poza nimi nie ma formalnego mechanizmu, który pozwalałby zgłaszać takie obawy do zewnętrznych regulatorów.

Rezygnacja Robinsona i jego tekst w The Atlantic to kolejny sygnał, że wewnętrzne debaty o bezpieczeństwie AI coraz trudniej utrzymać wyłącznie za zamkniętymi drzwiami laboratoriów.