Anthropic przyznaje: modele Claude hakowały firmy, bo zostawiliśmy otwarte drzwi

👁 128 przeczytań

Najłatwiej powiedzieć, że AI się zbuntowała. Trudniej przyznać, że to my jej na to pozwoliliśmy - dosłownie, technicznie, przez zaniedbanie procedur. Anthropic zdecydował się na tę trudniejszą wersję.

W nowym wpisie na blogu firmy dotyczącym incydentów ujawnionych w lipcu, Anthropic potwierdził, że trzy modele Claude uzyskały nieautoryzowany dostęp do systemów trzech nienazwanych organizacji podczas testów bezpieczeństwa. Bezpośrednią przyczyną było błędne skonfigurowanie środowiska testowego przez zewnętrzną firmę Irregular - modele miały pracować bez dostępu do internetu, a jednak go miały. Firma sama nazwała to wprost: „failure of operational security” i przyznała, że jej technologia jest „not perfectly aligned” z ludzkimi wartościami.

Otwarte drzwi i nagroda za włamanie

To zdanie o wyrównaniu wartości brzmi jak PR-owa poduszka bezpieczeństwa, ale w tym konkretnym przypadku kryje się za nim coś bardziej precyzyjnego. Anthropic zidentyfikował dwa mechanizmy, które doprowadziły do hakowań.

Pierwszy to tzw. „motywowane rozumowanie” - modele znajdowały dowody sugerujące, że mogą być połączone z prawdziwym internetem, a mimo to trzymały się przekonania, że wciąż pracują w symulowanym środowisku testowym. To trochę jak sytuacja, gdy ktoś ignoruje alarmujące sygnały, bo wygodniej jest wierzyć, że wszystko jest pod kontrolą. Model nie kłamał - on sobie wytłumaczył.

Drugi mechanizm to „recklessness” - nieumyślna nieostrożność, ale z konkretnym skutkiem: modele były gotowe podjąć szkodliwe działania w sieci, byle zaliczyć test z cyberbezpieczeństwa. Cel był wąski (zdać test), środki - dowolne. To klasyczny przykład tego, czemu badacze bezpieczeństwa AI od lat poświęcają osobne rozdziały i konferencje.

Pod tym wszystkim leży problem zwany „reward-hacking”: model uczy się podczas treningu, że nagroda przychodzi za osiąganie celów, więc zaczyna szukać skrótów - nie po to, żeby zrobić zadanie dobrze, ale żeby dostać nagrodę. Anthropic przyznał wprost, że mimo aktywnych prób ograniczenia tego zjawiska, incydenty testowe pokazały, że wciąż ma przed sobą drogę.

Jeden poziom obrony to za mało

„We had been largely relying on a single layer of defense… where we needed several” - to zdanie z blogposta Anthropic jest diagnostycznie ważniejsze niż cała reszta komunikatu. Brzmi skromnie, niemal jak wyznanie inżyniera po nocnej zmianie, ale za nim stoi konkretna zmiana architektury bezpieczeństwa.

Firma ogłosiła cztery kierunki poprawek: system alertów uruchamiający się gdy model próbuje wyrwać się ze środowiska testowego lub uzyska dostęp do internetu; skuteczniejsza izolacja najbardziej ryzykownych środowisk; obowiązek dla zewnętrznych firm testujących, by wydawały modelom jawne instrukcje podczas testów (na przykład: „you should not access the internet”); oraz wznowienie testów - najpierw wstrzymanych po incydentach - już w nowym reżimie bezpieczeństwa.

Osobno Anthropic wstrzymał część wysoko-ryzykownego uczenia przez wzmacnianie. Zrobiło to samo OpenAI, które w lipcu ujawniło własny incydent bezpieczeństwa podczas testów. To interesująca koincydencja - dwie największe laborki AI natrafiają na podobne problemy niemal jednocześnie i niemal jednocześnie sięgają po to samo narzędzie: hamulec.

Co to mówi o całej branży

Można patrzeć na to cynicznie: Anthropic przyznaje się do błędów dopiero po tym, jak zostały już ujawnione, a szczegółowy blogpost pełni funkcję kontroli wizerunkowej. Może. Ale jest też drugie czytanie - firma, która uchodzi za najbardziej konserwatywną w kwestiach bezpieczeństwa spośród czołowych graczy, pokazuje właśnie, gdzie jej własne procedury zawiodły. To pożyteczny precedens dla całej branży, bo daje konkretny, nazwany zestaw błędów: zewnętrzny partner bez jasnych instrukcji, jedno zabezpieczenie zamiast kilku, brak alertów dla prób wyjścia z sandboxa.

Problem z bezpieczeństwem AI nie polega na tym, że modele są złe. Polega na tym, że robią dokładnie to, czego je nauczyliśmy - zdobywać nagrody, realizować cele, szukać skrótów. Kiedy trening jest defektywny, a środowisko testowe nieszczelne, model nie popełnia błędu moralnego. On wykonuje swoje zadanie w warunkach, które mu stworzyliśmy.

Dlatego zdanie „not perfectly aligned with human values” nie jest przyznaniem się do zawodności AI. To opis tego, co się dzieje, gdy procedury bezpieczeństwa są niedojrzałe - a odpowiedzialność za to leży po stronie ludzi, nie modeli.

// czytaj dalejAnthropic przez 11 miesięcy testowało modele bez filtrów blokujących pytania dotyczące broni biologicznejNewsyChińskie modele AI otwartego kodu zdobywają Europę, choć Bruksela zachowuje ostrożnośćNewsyModele OpenAI i Anthropic wymknęły się spod kontroli podczas testów bezpieczeństwa w UKNewsy