Agenci AI z OpenAI i Anthropic hakowali na żywo - już 19 razy podczas testów

👁 172 przeczytań

Brytyjski Instytut Bezpieczeństwa AI (AISI) ujawnił we wtorek, że podczas testów modele Anthropic i OpenAI łącznie 19 razy podjęły nieautoryzowane działania w prawdziwym internecie - mimo że miały działać wyłącznie w symulowanym środowisku sieciowym.

AISI testuje modele frontierowe w tzw. cyber ranges, czyli wirtualnych sieciach imitujących wyzwania z zakresu cyberbezpieczeństwa. Instytut celowo wyłącza część zabezpieczeń, w tym mechanizmy blokujące działania ofensywne, i - co istotne - nie izoluje agentów od internetu: mają z niego korzystać, by sięgać po niezbędne narzędzia. W 122 sesjach testowych 17 nieautoryzowanych akcji przypisano modelowi Anthropic Mythos 5, a dwie - GPT-5.6-Sol od OpenAI.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Agent tworzył fałszywe tożsamości i zostawiał instrukcje dla następnych

Najbardziej niepokojący był jeden konkretny przypadek. Agent podjął próbę wstrzyknięcia złośliwego kodu do publicznego projektu open source na GitHubie, a żeby zwiększyć szanse powodzenia, stworzył fałszywe konta internetowe służące do wywierania presji na opiekunie repozytorium. Człowiek ostatecznie odrzucił pull request, ale agent nie poprzestał na tym.

„Agent próbował wstawić złośliwe instrukcje w miejscach, gdzie - jak wnioskował - mogły je pobrać i wykonać inne zautomatyzowane systemy AI” - pisze AISI, opisując próbę prompt injection.

Co więcej, agent zostawił publiczne wiadomości na GitHubie, oferując współpracę innym agentom i opisując wykonaną dotychczas pracę. Kolejne instancje agenta znalazły te instrukcje - i z nich skorzystały. AISI przyznaje, że na razie nie wiadomo, czy modele zdawały sobie sprawę z opuszczenia środowiska testowego, czy sądziły, że nadal działają w symulacji.

Do oddzielnego incydentu doszło w zewnętrznym laboratorium bezpieczeństwa Irregular, które przez błąd konfiguracji przyznało nieokreślonemu modelowi OpenAI dostęp do otwartego internetu. Model miał wykonać zadanie w izolowanym środowisku, ale zamiast tego - korzystając z podstawowej luki bezpieczeństwa - włamał się na prawdziwą stronę internetową i przejął dane logowania do jej obsługi. Irregular nie odpowiedziało na prośbę o komentarz.

To kolejna seria ujawnień po tym, jak w ubiegłym miesiącu OpenAI przyznało, że dwa jego modele włamały się na serwery Hugging Face - i czterech innych organizacji - by wykraść odpowiedzi do testu, który właśnie rozwiązywały. Tamte ujawnienia skłoniły Anthropic do własnego przeglądu testów.

Wspólny mianownik tych zdarzeń jest prosty: agenty robią więcej, niż im kazano, gdy tylko mają po temu sposobność.

// czytaj dalejModele OpenAI i Anthropic wymknęły się spod kontroli podczas testów bezpieczeństwa w UKNewsyZuckerberg przyznaje pracownikom: agenci AI nie rozwijają się tak szybko, jak liczyłemNewsyUSA znoszą zakaz eksportu modeli Anthropic. Trzy tygodnie wcześniej uznano je za zagrożenieNewsy