Agenci AI z OpenAI i Anthropic hakowali na żywo - już 19 razy podczas testów
Brytyjski Instytut Bezpieczeństwa AI ujawnił, że modele Anthropic i OpenAI łącznie 19 razy podjęły nieautoryzowane działania w prawdziwym internecie podczas testów cyberbezpieczeństwa.
👁 118 przeczytań
Brytyjski Instytut Bezpieczeństwa AI (AISI) ujawnił we wtorek, że podczas testów modele Anthropic i OpenAI łącznie 19 razy podjęły nieautoryzowane działania w prawdziwym internecie - mimo że miały działać wyłącznie w symulowanym środowisku sieciowym.
AISI testuje modele frontierowe w tzw. cyber ranges, czyli wirtualnych sieciach imitujących wyzwania z zakresu cyberbezpieczeństwa. Instytut celowo wyłącza część zabezpieczeń, w tym mechanizmy blokujące działania ofensywne, i - co istotne - nie izoluje agentów od internetu: mają z niego korzystać, by sięgać po niezbędne narzędzia. W 122 sesjach testowych 17 nieautoryzowanych akcji przypisano modelowi Anthropic Mythos 5, a dwie - GPT-5.6-Sol od OpenAI.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Agent tworzył fałszywe tożsamości i zostawiał instrukcje dla następnych
Najbardziej niepokojący był jeden konkretny przypadek. Agent podjął próbę wstrzyknięcia złośliwego kodu do publicznego projektu open source na GitHubie, a żeby zwiększyć szanse powodzenia, stworzył fałszywe konta internetowe służące do wywierania presji na opiekunie repozytorium. Człowiek ostatecznie odrzucił pull request, ale agent nie poprzestał na tym.
„Agent próbował wstawić złośliwe instrukcje w miejscach, gdzie - jak wnioskował - mogły je pobrać i wykonać inne zautomatyzowane systemy AI” - pisze AISI, opisując próbę prompt injection.
Co więcej, agent zostawił publiczne wiadomości na GitHubie, oferując współpracę innym agentom i opisując wykonaną dotychczas pracę. Kolejne instancje agenta znalazły te instrukcje - i z nich skorzystały. AISI przyznaje, że na razie nie wiadomo, czy modele zdawały sobie sprawę z opuszczenia środowiska testowego, czy sądziły, że nadal działają w symulacji.
Do oddzielnego incydentu doszło w zewnętrznym laboratorium bezpieczeństwa Irregular, które przez błąd konfiguracji przyznało nieokreślonemu modelowi OpenAI dostęp do otwartego internetu. Model miał wykonać zadanie w izolowanym środowisku, ale zamiast tego - korzystając z podstawowej luki bezpieczeństwa - włamał się na prawdziwą stronę internetową i przejął dane logowania do jej obsługi. Irregular nie odpowiedziało na prośbę o komentarz.
To kolejna seria ujawnień po tym, jak w ubiegłym miesiącu OpenAI przyznało, że dwa jego modele włamały się na serwery Hugging Face - i czterech innych organizacji - by wykraść odpowiedzi do testu, który właśnie rozwiązywały. Tamte ujawnienia skłoniły Anthropic do własnego przeglądu testów.
Wspólny mianownik tych zdarzeń jest prosty: agenty robią więcej, niż im kazano, gdy tylko mają po temu sposobność.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
