Jak oszukać agenta AI bez znajomości jego wnętrza - atak na głębokie RL

👁 116 przeczytań

Praca pochodzi z arXiv (identyfikator 2610.06083) i została złożona 5 października 2026 roku przez Zexina Li, Ruili Yao, Yiminga Zenga oraz Xiaoxue Gao. Dokument ma 63 KB i jest sklasyfikowany w działach Machine Learning oraz Artificial Intelligence.

Problem: atakujący nie zna ofiary

Większość dotychczasowych badań nad atakami na agentów uczenia ze wzmocnieniem (deep reinforcement learning, DRL) zakładała tzw. white-box access - czyli pełny wgląd w parametry atakowanej polityki. Autorzy zaznaczają wprost, że takie założenie rzadko sprawdza się w praktyce. Interesuje ich scenariusz czarnej skrzynki oparty na transferze: atakujący dysponuje własnym agentem zastępczym (surrogate), do którego ma pełny dostęp, i na jego podstawie konstruuje perturbacje obserwacji. Te perturbacje są następnie podawane nieznanemu agentowi-ofierze w nadziei, że zadziałają mimo różnic w architekturze lub algorytmie uczenia.

Cel ataku i pierwsza obserwacja

Autorzy formułują zadanie jako minimalizację łącznej nagrody (return minimization) przy ograniczeniu wielkości perturbacji na każdym kroku. Jako punkt wyjścia sprawdzają, co się stanie, gdy znane ataki z klasyfikacji obrazów - FGSM, MI-FGSM i NI-FGSM - zostaną przeniesione do DRL z celem liczonym krok po kroku (per-step objective). Wynik jest jednoznaczny: tak uzyskane perturbacje transferują się do ofiary, ale są nie silniejsze niż losowy szum o takim samym budżecie. To istotna obserwacja, bo pokazuje, że samo przeniesienie sprawdzonej techniki do nowej dziedziny nie wystarczy.

Proponowane rozwiązanie: atak trajektoryjny

Zamiast optymalizować perturbację osobno dla każdego kroku, autorzy proponują atak trajektoryjny (trajectory-level attack). Metoda optymalizuje całą sekwencję perturbacji na przesuwającym się horyzoncie czasowym (receding horizon). Do tego celu używa różniczkowalnego modelu środowiska oraz polityki zastępczej wygładzonej temperaturą (temperature-smoothed surrogate policy). Optymalizatory pozostają te same co w metodach per-step, co pozwala na bezpośrednie porównanie.

Eksperymenty i wyniki

Testy przeprowadzono na środowisku CartPole-v1. Użyto dziesięciu agentów opartych na algorytmach DQN i DDQN oraz 100 par surrogate-ofiara. Autorzy sprawdzali trzy scenariusze: white-box (atakujący zna ofiarę), cross-model (inna instancja tego samego algorytmu) oraz cross-algorithm (inny algorytm uczenia). We wszystkich trzech przypadkach atak trajektoryjny przewyższył ataki per-step oraz losowy szum. Dokument nie podaje szczegółowych wartości liczbowych wyników w abstrakcie - są dostępne wyłącznie w pełnym tekście PDF.

Czego w dokumencie nie ma

Dostępny mi tekst to wyłącznie strona arXiv z abstraktem i metadanymi. Nie ma w nim szczegółowych tabel z wynikami, opisu architektury sieci, kodu ani omówienia ograniczeń metody. Nie wiadomo też, czy praca była recenzowana lub przyjęta na jakąś konferencję - dokument figuruje jako preprint.

Co z tego wynika

Moim zdaniem ta praca jest interesująca z dwóch powodów. Po pierwsze, uczciwie pokazuje ślepą uliczkę - przeniesienie popularnych ataków z klasyfikacji obrazów do RL po prostu nie działa lepiej niż losowe zakłócenia, co jest wynikiem wartym odnotowania samo w sobie. Po drugie, zaproponowane podejście trajektoryjne brzmi sensownie koncepcyjnie, bo DRL z natury operuje na sekwencjach, a nie pojedynczych klatkach. Słabością jest ograniczenie testów do jednego, prostego środowiska (CartPole-v1) - nie wiadomo, czy metoda skaluje się do bardziej złożonych zadań. Jako preprint z października 2026 roku nie przeszła jeszcze publicznej weryfikacji recenzentów, więc do wyników należy podchodzić z ostrożnością.

Źródło: arXiv cs.AI: Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning (dokument z 2026-10-06). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.