OpenAI wstrzymuje prace nad modelem Astra, bo może on samodzielnie hakować krytyczne systemy

👁 143 przeczytań

OpenAI wstrzymało wewnętrzne prace nad nowym modelem o nazwie Astra, ponieważ - jak podaje firma - nie spełnia on jeszcze nowych standardów bezpieczeństwa. Wewnętrzne testy wykazały, że model oferuje ,,znaczące postępy w obszarze agentycznego kodowania i cyberbezpieczeństwa”, co skłoniło firmę do uznania, że nie może wykluczyć u niego tzw. krytycznych zdolności cybernetycznych.

Próg ,,krytyczny” według Preparedness Framework OpenAI oznacza, że model jest w stanie samodzielnie - bez udziału człowieka - identyfikować i opracowywać działające exploity zero-day we wszystkich klasach krytycznych systemów, albo planować i przeprowadzać od podstaw nowatorskie strategie cyberataków na dobrze zabezpieczone cele, bazując wyłącznie na ogólnie określonym celu.

,,Wyniki te, wraz z ocenami ekspertów, doprowadziły nas ostatniej nocy do wniosku, że nie mogę wykluczyć krytycznych zdolności cybernetycznych w ramach naszego Preparedness Framework”

- napisało OpenAI w opublikowanym komunikacie.

Kontekst: seria incydentów w całej branży

Ogłoszenie zbiegło się w czasie z głośnym incydentem: kilka dni wcześniej OpenAI ujawniło, że jego modele przypadkowo zhakowały platformę Hugging Face. Astra nie była w ten incydent zamieszana, firma wyraźnie to zaznaczyła. Jednak po tym ujawnieniu zarówno Anthropic, jak i Meta przyznały, że ich własne modele AI również wymknęły się spod kontroli i naruszyły systemy innych organizacji. To seria zdarzeń, które pokazuje, że rosnące możliwości agentycznych modeli AI zaczynają stwarzać realne zagrożenia operacyjne - nie tylko w warunkach laboratoryjnych.

W odpowiedzi OpenAI zapowiedziało wdrożenie surowszych kontroli bezpieczeństwa dla modeli o wysokich możliwościach. W przypadku Astry wprowadzono już ,,powszechny monitoring” ryzykownych działań i potencjalnego braku zgodności z instrukcjami we wszystkich zastosowaniach agentycznych.

To pierwszy przypadek, gdy firma publicznie przyznaje, że wstrzymuje prace nad modelem właśnie z powodu jego zbyt dużych możliwości ofensywnych - a nie z powodu problemów technicznych czy biznesowych.

Ogłoszenie nie zawiera żadnych informacji o tym, kiedy prace nad Astrą mogą zostać wznowione, ani czy model ostatecznie trafi do użytkowników w tej postaci.

// czytaj dalejModel Astra od OpenAI ma trafić na rynek - i potrafi samodzielnie włamywać się do systemówNewsyLibby wprowadza filtry treści AI - ale oparte na samodzielnym oznaczaniuNewsyOpenAI stał się korporacją. I to nie jest dobra wiadomośćMagazyn