SCOPE: jak nauczyć agenta AI obsługującego komputer odmawiać niebezpiecznych zadań

👁 146 przeczytań

Praca pochodzi z sierpnia 2026 roku, autorstwa zespołu ośmiorga badaczy: Zeyu Kang, Zhenyun Yin, Yang Zhang, Shan He, Shanzhe Lei, Yanjiu Zhong, Xinquan Chen i Xuhong Wang. Dotyczy tzw. agentów używających komputera (computer-use agents, w skrócie CUA) - czyli systemów AI, które sterują graficznym interfejsem użytkownika, klikają, wpisują tekst i wykonują złożone zadania na prawdziwym komputerze.

Problem: samo ukończenie zadania nie wystarcza

Autorzy wskazują na konkretny problem: dotychczasowe trenowanie takich agentów skupiało się wyłącznie na tym, czy zadanie zostało wykonane. To nie wystarcza, bo agent musi też umieć oceniać ryzyko. Według autorów niezawodny CUA powinien spełniać trzy warunki: wykonywać zwykłe, bezpieczne zadania; unikać zagrożeń w środowisku i kontynuować działanie, gdy istnieje bezpieczna ścieżka do celu; oraz odmawiać, gdy cel jest szkodliwy albo nie istnieje bezpieczna ścieżka do jego osiągnięcia. Innymi słowy - agent powinien uzależniać swoje działanie od oceny ryzyka, nie tylko od możliwości wykonania polecenia.

SCOPE: wspólny trening zdolności i bezpieczeństwa

Odpowiedzią na ten problem jest metoda nazwana SCOPE (Safety and Capability Optimization for Policy Execution). Jej idea polega na jednoczesnym trenowaniu agenta pod kątem dwóch celów: skuteczności w wykonywaniu zadań oraz podejmowania decyzji uwzględniających bezpieczeństwo. Żeby dostarczyć dopasowane dane treningowe, autorzy opracowali dodatkowe narzędzie - SCOPE-Gen. Jest to zautomatyzowany pipeline, który tworzy weryfikowalne zadania testujące zdolności agenta, a następnie przekształca je w pary wariantów: z ryzykiem środowiskowym i bez, zachowując przy tym oryginalny cel zadania.

Dane treningowe: trzy typy trajektorii

Na bazie zadań wygenerowanych przez SCOPE-Gen powstał zbiór danych SATraj-OS. Zawiera on trajektorie trzech rodzajów: demonstracje skutecznego wykonania zadań, przykłady bezpiecznego kontynuowania mimo napotkanych zagrożeń, oraz wyraźne odmowy. Agent SCOPE jest najpierw trenowany na wszystkich trzech typach trajektorii metodą nadzorowanego dostrajania (supervised fine-tuning), a następnie dalej poprawiany w zakresie ukończania zadań za pomocą uczenia przez wzmacnianie online (online reinforcement learning).

Wyniki: liczby

Punktem startowym był model Qwen3.5-9B. Po zastosowaniu SCOPE-RL (wariant z uczeniem przez wzmacnianie) agent osiągnął 54,17% skuteczności na benchmarku OSWorld oraz 64,30% skuteczności w unikaniu ataków na benchmarku OS-BLIND. Łączny wynik agregujący zdolności i bezpieczeństwo wyniósł 58,80% - autorzy wskazują, że jest to najlepszy wynik wśród ocenianych agentów. Jakie inne agenty były oceniane i jakie osiągnęły wyniki - dokument tego nie precyzuje w dostępnym abstrakcie.

Co robi odmowa, a co obsługa ryzyka

Autorzy przeprowadzili też analizę ablacyjną, czyli sprawdzili, co się dzieje, gdy usuwa się poszczególne elementy metody. Wyniki pokazują asymetrię: trajektorie odmowy odpowiadają za większość zysku w unikaniu ataków, natomiast trajektorie obsługi ryzyka (czyli bezpiecznego kontynuowania) lepiej zachowują użyteczność agenta przy porównywalnym poziomie unikania ataków. Obie formy nadzoru bezpieczeństwa są więc komplementarne, ale pełnią różne role.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Co z tego wynika

Moim zdaniem ta praca wskazuje na istotną lukę w dotychczasowym podejściu do trenowania agentów AI sterujących komputerem - optymalizacja wyłącznie pod kątem skuteczności zadań to za mało, gdy agent ma realny dostęp do systemu operacyjnego. Wyniki liczbowe są obiecujące, ale dokument - przynajmniej w tej formie - nie ujawnia szczegółów benchmarków ani porównywanych agentów, co utrudnia pełną ocenę. Kluczowy wniosek praktyczny to rozróżnienie między odmową a obsługą ryzyka: agent, który tylko odmawia, jest bezpieczniejszy, ale mniej użyteczny - agent, który umie też bezpiecznie kontynuować, zachowuje większą wartość praktyczną.

Źródło: arXiv cs.AI: Beyond Task Completion: Training Capable and Safe Computer-Use Agents (dokument z 2026-09-23). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

// czytaj dalejAmazon testuje Alexa+ w Indiach z obsługą języka hindiNewsyGoogle chce uratować branżę gier sztuczną inteligencją. To kusząca wizja, ale niebezpiecznie wygodnaPremiumiOS 27 w publicznej becie - pięć funkcji wartych uwagiNewsy