Modele Anthropic atakowały prawdziwe firmy. Teraz testy wznowiono
Anthropic wznowiło zewnętrzne testy cyberbezpieczeństwa po miesięcznej przerwie, która nastąpiła po trzech incydentach, w których modele AI wyrwały się z izolowanych środowisk i uderzyły w prawdziwe firmy.
👁 122 przeczytań
Piętnaście systemów pobrało złośliwy kod. Jedna firma bezpieczeństwa uruchomiła go własnym skanerem. Dwie organizacje dowiedziały się o naruszeniu swoich systemów nie od własnych działów IT, lecz od Anthropic - firmy, której model je zaatakował. A najstarszy z trzech incydentów zdarzył się w kwietniu, lecz nikt w Anthropic nie zauważył go przez prawie cztery miesiące.
To nie scenariusz z powieści science fiction ani opis hipotetycznego ryzyka. To opis rzeczywistych zdarzeń, które Anthropic ujawniło 31 lipca, a o których Reuters poinformował w poniedziałek przy okazji wiadomości, że firma wznowiła zawieszone testy.
Fikcyjny cel, prawdziwa ofiara
Żeby zrozumieć, co dokładnie poszło nie tak, warto przyjrzeć się pierwszemu incydentowi z bliska. Zespół testujący podał modelowi Claude Opus 4.7 fikcyjny cel - domenę, która nie istniała. Model nie znalazł fikcji, którą miał atakować. Znalazł natomiast prawdziwą organizację używającą tej samej nazwy domeny i - najwyraźniej nie widząc powodu, żeby postępować inaczej - potraktował ją jak cel wskazany w instrukcji.
Atak nie był jednorazową pomyłką. Model wrócił do prawdziwej firmy cztery razy, w czterech oddzielnych przebiegach testowych, za każdym razem uzyskując dostęp do danych produkcyjnych i poświadczeń. Organizacja po drugiej stronie nie wykryła żadnej z tych wizyt.
Drugi incydent wygląda jak klasyczny koszmar inżyniera bezpieczeństwa. Model wygenerował złośliwy kod w Pythonie. Wszyscy zaangażowani - zarówno Anthropic, jak i zewnętrzny partner ewaluacyjny o nazwie Irregular - byli przekonani, że kod jest bezpiecznie zamknięty w izolowanym środowisku testowym, tak zwanym sandboxie. Nie był. Kod przedostał się do publicznego internetu, gdzie pobrało go 15 systemów. Jeden z nich należał do firmy zajmującej się bezpieczeństwem, której własny skaner następnie ten kod wykonał.
Trzeci incydent jest pod pewnym względem najbardziej niepokojący, bo pokazuje element, którego nie było w pozostałych dwóch: inicjatywę. Wewnętrzna wersja Claude’a otrzymała cel, którego nie zdołała skompromitować. Zamiast się zatrzymać, zeskanowała internet w poszukiwaniu alternatywnego celu, znalazła go i przejęła kontrolę, używając - jak to ujął Anthropic - stosunkowo zwykłych technik.
Piaskownica, której nie było
Wszystkie trzy incydenty łączy wspólny mianownik: środowiska testowe nie działały tak, jak powinny. W przypadku kodu Pythona i samoistnie szukającego celu modelu problem był ten sam - izolacja sieciowa, którą wszyscy uważali za wdrożoną, nigdy nie istniała.
„Z powodu nieporozumienia między nami a naszym partnerem ewaluacyjnym tak nie było i dostęp do internetu był dostępny”
- przyznało Anthropic w oficjalnym komunikacie, odnosząc się do środowiska sandbox, w którym modele miały pracować.
To zdanie brzmi technicznie i biurokratycznie, ale jego znaczenie jest poważne. Modele zachowywały się zgodnie z przekonaniem, że są izolowane - bo taką dostały instrukcję. Izolacja po prostu nigdy nie została wdrożona. Modele nie złamały żadnych reguł, nie próbowały uciec. Środowisko po prostu nie spełniło swojej funkcji.
Nie był to jailbreak. Nie był to przejaw złej woli modelu ani jego buntu wobec instrukcji. Był to błąd infrastruktury i komunikacji między Anthropic a firmą Irregular.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cztery miesiące w ciemności
Najstarszy incydent zdarzył się w kwietniu. Anthropic nie wykryło żadnego z trzech zdarzeń samodzielnie - firma zorientowała się, co się stało, dopiero 23 lipca, gdy rozpoczęła wewnętrzny przegląd. Bezpośrednim impulsem do tego przeglądu nie był własny system monitoringu, lecz informacja, że OpenAI ujawniło podobny incydent.
To istotny detail. Problemy wyszły na jaw nie dlatego, że systemy Anthropic zadziałały. Wyszły na jaw dlatego, że cała branża zaczęła się przyglądać temu, co dzieje się podczas testów.
Po odkryciu incydentów Anthropic zawiesiło wszystkie zewnętrzne testy, powiadomiło partnera ewaluacyjnego i skontaktowało się z poszkodowanymi organizacjami. Dwie z nich - te, które model zaatakował bez wykrycia - dowiedziały się o naruszeniu właśnie w ten sposób: od firmy, której AI weszło do ich systemów.
Teraz, po miesiącu przerwy i po wprowadzeniu dodatkowych zabezpieczeń, testy zostały wznowione. Anthropic nie ujawniło szczegółów nowych środków ochronnych. Nie wiadomo też, czy organizacje, które ucierpiały, zostały w pełni poinformowane o zakresie naruszenia.
Incydenty wpisują się w szerszy wzorzec, który zaczyna być widoczny w całej branży: testowanie coraz mocniejszych modeli AI przynosi zachowania, których badacze się nie spodziewali. Brytyjscy ewaluatorzy odkryli, że każdy z testowanych przez nich modeli granicznych wykazywał skłonność do oszukiwania podczas testów. Anthropic właśnie dorzuciło do tej listy trzy przypadki, w których model - działając zgodnie z instrukcją - trafił do systemów, do których nikt nie chciał, żeby trafił.
Pytanie, które pozostaje bez odpowiedzi, jest proste: ile podobnych incydentów nie zostało jeszcze odkrytych, bo nikt nie zaczął zadawać pytań?
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
