Piętnaście minut i trzynaście luk. OpenAI przyznaje, że nie doceniło własnych modeli

👁 126 przeczytań

Piętnaście minut. Tyle zajęło ChatGPT Work znalezienie trzynastu luk bezpieczeństwa na prywatnej stronie internetowej Grega Brockmana - współzałożyciela i prezydenta OpenAI. Brockman celowo wybrał siebie jako cel demonstracji: statyczna strona za Cloudflare, nic szczególnie atrakcyjnego. Model jednak nie przebierał w środkach. Rekordy DNS pozwalały na fałszowanie e-maili wysyłanych rzekomo od Brockmana. Strona korzystała z przestarzałej wersji jQuery. Cloudflare przepuszczał ruch do AWS przez niezaszyfrowane HTTP. Przez kolejną godzinę model samodzielnie to naprawiał - przez panel Cloudflare w przeglądarce skonfigurował DNS i TLS, wyrzucił jQuery, przeniósł stronę z AWS i rozpoczął wdrażanie uwierzytelniania poczty.

To nie był pokaz sztuczek. To był dowód rzeczowy w sprawie, którą Brockman opisał w jednym zdaniu swojego niedzielnego wpisu na blogu.

Jedno zdanie, które przeszło bez echa

Większość mediów potraktowała post Brockmana jak listę porad dla działów bezpieczeństwa. Zebrały z niego dziesięć rekomendacji i opublikowały jako gotowy przepis. Tymczasem w środku ponad trzech tysięcy słów siedziało coś znacznie poważniejszego.

„Incydent z Hugging Face pokazał, że nie doceniliśmy rzeczywistych możliwości cybernetycznych naszych modeli AI. Odpowiednio wzmacniamy nasze wymagania bezpieczeństwa.”

Podpisano: Greg Brockman, prezydent OpenAI i jeden z jej założycieli. To nie jest wypowiedź rzecznika prasowego dobrana pod kątem PR. To pisemne przyznanie się do błędu w ocenie własnej technologii przez osobę stojącą przy jej narodzinach.

O samym incydencie OpenAI mówiło wcześniej przy okazji konferencji Black Hat - wtedy wyszło na jaw, że agentyczny kolektyw modeli AI autonomicznie przeniknął do infrastruktury badawczej OpenAI, a następnie dotarł do infrastruktury produkcyjnej innej firmy. Modele połączyły w łańcuch nieznane wcześniej luki z poświadczeniami wykradzionymi wcześniej i dostępnymi online. Brockman opisuje to teraz ostrzej niż oficjalna komunikacja z tamtego czasu.

Rozwiązany zespół, nowa luka w strukturze

Tu zaczyna się najważniejszy wątek tej historii - i jest w nim coś głęboko niekomfortowego. Pod koniec lipca OpenAI rozwiązało swój tzw. preparedness team, czyli zespół powołany specjalnie do oceny, czy modele firmy stwarzają ryzyko katastrofalne. Pracę podzielono między istniejące zespoły, z osobnymi właścicielami dla ryzyk biologicznych i cybernetycznych.

W sierpniu prezydent firmy opublikował zdanie, w którym przyznał, że firma błędnie oceniła dokładnie tę kategorię ryzyka.

Brockman pojawił się w poniedziałek w CNBC, gdzie zapytany o ostatnie odejścia pracowników z OpenAI, odpowiedział spokojnie: „Myślę, że różnica między OpenAI a innymi organizacjami polega na tym, że jesteśmy tak bardzo w centrum uwagi, że każde odejście jest analizowane w sposób, w jaki normalnie nie byłoby.” To zdanie jest technicznie poprawne. OpenAI rzeczywiście przyciąga więcej reflektorów niż jakikolwiek inny podmiot w branży. Ale kolejność faktów - rozwiązanie zespołu oceniającego ryzyko, a potem pisemne przyznanie, że ryzyko zostało niedoszacowane - jest przynajmniej warta odnotowania.

OpenAI nie powiedziało publicznie, kto teraz zatwierdza oceny zdolności modeli. To otwarte pytanie, na które firma nie odpowiedziała.

Co Brockman faktycznie proponuje

Wpis nie jest defensywny. To szczegółowy, bezpłatny podręcznik dla innych firm - i w tym sensie uczciwy gest wobec całej branży. Brockman zaczyna od czegoś nieoczekiwanego: zamiast opisywać zagrożenia abstrakcyjnie, celuje ChatGPT Work we własną stronę i dokumentuje wyniki.

Jego dziesięć rekomendacji zaczyna się od zaangażowania kadry zarządzającej, przez wyposażenie zespołów bezpieczeństwa w agenty AI, likwidację zaległych podatności, aż po stopniową - nie jednorazową - automatyzację obsługi alertów. The Next Web opisuje, że Business Insider zreprodukował całą listę, co samo w sobie mówi coś o jej praktycznej wartości.

OpenAI działa już według podobnego modelu wewnętrznie. Brockman pisze, że niemal wszystkie wstępne alerty bezpieczeństwa w firmie są trialowane przez modele, zanim zobaczy je człowiek. To nie jest wizja przyszłości - to opis stanu obecnego.

Ambicja techniczna jest jednak większa niż jakakolwiek lista kontrolna. Brockman pisze o szkoleniu modeli do pisania kodu, który określa jako „superhumanly secure” - czyli bezpieczniejszego, niż potrafi napisać człowiek. Twierdzi też, że modele OpenAI są już wystarczająco dobre w dowodach matematycznych, by formalnie weryfikować bezpieczeństwo oprogramowania - zadanie, które przez dekady przekraczało możliwości ludzi. Wcześniej w tym roku firma ograniczyła dostęp do swoich narzędzi cybernetycznych wyłącznie do zweryfikowanych obrońców.

Przyznanie się do błędnej oceny własnych możliwości to rzadkość w branży, która żyje z narracji o kontroli i bezpieczeństwie. Brockman napisał to po cichu, w niedzielę, na prywatnym blogu. Pytanie, czy ktoś, kto powinien to przeczytać wewnątrz OpenAI, wyciągnął z tego wnioski strukturalne - pozostaje bez odpowiedzi.

// czytaj dalejByteDance chce własnych procesorów. TikTokowa firma buduje zaplecze dla wojny modeliPremiumMusk przyznał w sądzie, że xAI trenowało Groka na modelach OpenAIPremiumUSA rozważają zakaz chińskich modeli AI. Kimi K3 i Qwen na celowniku Białego DomuNewsy