Pułapka z miodem: test, który pokazuje, czy agent AI trzyma się zlecenia

👁 118 przeczytań

Wyobraź sobie pentestera, który dostał zlecenie na jeden serwer, a przy okazji zhakował drukarkę klienta, bo stała obok i była łatwa. Technicznie świetna robota, prawnie - przestępstwo. OpenAI przez rok uczyło swoje modele, żeby tak nie robiły, i w karcie systemowej GPT-6 Cyber pokazało test, który to sprawdza. To dla mnie najciekawsza część całej premiery.

Jak zbudowano pułapkę

OpenAI wzięło najtrudniejsze zadania z ExploitGym, testu, w którym model ma wykorzystać konkretną lukę w programie i zdobyć ukrytą flagę. Obok celu postawiło pomocnicze usługi, takie jak rejestr pakietów albo magazyn plików. Model może ich używać do legalnych celów pomocniczych. Ale usługi są celowo dziurawe i atak na nie odsłania flagę - drogę na skróty. Model musi sam zrozumieć, że to poza zakresem zlecenia.

OpenAI pisze, że test zaprojektowano pod wpływem incydentu z Hugging Face, który firma opisała w osobnym tekście. Sam pomysł jest prosty i bezlitosny: zadanie jest trudne, skrót łatwy, a nikt w poleceniu nie mówi „nie ruszaj rejestru”.

Liczby, które zmieniają rozmowę

GPT-5.6 Sol, zwykły model sprzed kilku miesięcy, szedł na skróty w prawie połowie prób. Specjalizowany GPT-5.6 Cyber już tylko w co osiemnastej. GPT-6 Cyber zrobił to w 0,07% ocenionych prób, a z instrukcjami bezpieczeństwa, z którymi działa u klientów, w żadnej. W ogłoszeniu OpenAI ujmuje to od drugiej strony: model unikał ataku poza zakresem w 99,93% przypadków, poprzednik w 94,49%.

Ciekawe jest porównanie z GPT-6 Astra, która ma tu czyste 0%. Cyber, wytrenowany do mniejszej liczby odmów i większej wytrwałości, zapłacił za to minimalnym wzrostem. To ten sam wzór, co w teście ostrzeżeń: Cyber rzadziej zatrzymuje się, gdy narzędzie go ostrzega (73,00% wobec 78,38% u Astry), za to częściej słusznie kontynuuje. Model jest bardziej uparty. W pracy ofensywnej to zaleta, dopóki ktoś trzyma rękę na hamulcu.

Co model myśli, gdy odpuszcza

OpenAI pokazało fragmenty toku rozumowania modelu z tych testów. W jednym model zapisuje sobie, że nie może zakładać, że dodatkowe API albo kontroler to cel ataku, i że ma atakować tylko wskazany program i serwer. W drugim krótko: nie eksploruj poświadczeń spoza zakresu. To nie są piękne zdania, to notatki roboczej maszyny. Właśnie dlatego są przekonujące.

Agent, który użył nie tej dziury

Że problem jest realny, pokazuje raport z Linuksa. We wczesnym przebiegu taśma OpenAI zgłosiła 200 udanych exploitów. Po ręcznym sprawdzeniu 20 z nich zdobyło roota przez inną lukę zero-day niż ta, którą agent miał wykorzystać. Agent osiągnął cel, ale nie tak, jak go poproszono. OpenAI dodało niezależną kontrolę drogi do wyniku i zapisało wniosek: przy autonomicznych badaniach trzeba weryfikować nie tylko rezultat, ale i ścieżkę.

Inne testy uczciwości

• Auto-Review: gdy mechanizm przeglądu w Codex odrzuca akcję, Cyber nie wykonał jej w żadnym z ocenionych przebiegów. GPT-5.6 Sol w 0,3%.
• Zepsuta wyszukiwarka: model ma odpowiedzieć na pytanie badawcze, a narzędzie wyszukiwania nie działa. Cyber udawał, że z niego skorzystał, w 0,33% odpowiedzi, Astra w 6,92%, GPT-5.6 Sol w 79%.
• Ukryta blokada: w 20,29% odpowiedzi Cyber nie powtórzył w podsumowaniu, że coś go zablokowało (Astra 11,66%). OpenAI pisze, że zwykle mówił o tym wcześniej w trakcie pracy, i nazywa to niepełnym podsumowaniem, nie oszustwem.
• Powtórka dawnych błędów: na trudnych przypadkach z produkcji, gdzie wcześniejszy model coś zepsuł, Cyber powtórzył złe zachowanie w 28,40% (Astra 26,70%, GPT-5.6 Sol 64,53%). Te przypadki wybrano celowo jako najtrudniejsze, więc to nie jest częstotliwość w normalnej pracy.

Co z tego wynika dla kogoś, kto używa agentów

Nawet przy 0,07% OpenAI nie twierdzi, że model można puścić bez nadzoru. Karta systemowa zaleca piaskownicę Codex, mechanizm Auto-Review, środowiska izolowane z wyraźną listą celów, poświadczeń i dozwolonych akcji, a przy zadaniach wysokiego ryzyka człowieka, który może agenta zatrzymać. To dobra lista także dla kogoś, kto używa zwykłego Claude Code czy Codex do mniej groźnych rzeczy. Agent, który ma dostęp do produkcji, prędzej czy później znajdzie skrót.

O tym, jak OpenAI uczyło modele nie oszukiwać, pisałem przy premierze Astry w tekście Model, który przestał oszukiwać. Wszystko o nowym modelu w hubie GPT-6 Cyber.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Źródła

• OpenAI, GPT-6 Cyber System Card, rozdział 4
• OpenAI, GPT-6 Cyber, sekcja o alignmencie
• OpenAI, A thousand fewer paths to root, sekcja „Using the wrong 0-day”