COPEX: jak łatwo oszukać modele językowe działające w systemach MCP

👁 122 przeczytań

Artykuł pochodzi z arXiv i został zaakceptowany jako poster na warsztatach NeurIPS 2026 Workshop on Agents in the Wild. Autorów jest sześciu: Nahom Birhan, Mehrdad Rostamzadeh, Sidhant Narula, Mahmoud Nazzal, Mohammad Ghasemigol i Daniel Takabi.

Czym jest MCP i jaki jest problem

Model Context Protocol (MCP) to standard, który pozwala modelom językowym korzystać z zewnętrznych narzędzi - wywoływać funkcje, pobierać dane, komunikować się z serwerami. W takim systemie model pełni rolę klienta MCP: dostaje instrukcje od użytkownika, schematy dostępnych narzędzi, wyniki ich działania oraz wiadomości protokołu. Każdy z tych kanałów to potencjalne miejsce, przez które ktoś może próbować wpłynąć na zachowanie modelu w niepożądany sposób.

Autorzy zwracają uwagę na konkretny problem metodologiczny: dotychczasowe testy bezpieczeństwa agentów AI oceniają cały wdrożony system, a nie sam model. Przez to trudno odróżnić, czy model jest podatny na atak, czy tylko otaczająca go infrastruktura - mechanizmy ochronne, orkiestracja, ogólne zdolności zadaniowe - go przed nim chroni albo naraża. COPEX ma to rozwiązać.

Co to jest COPEX i jak działa

COPEX (COntext Provider EXploitation) to benchmark zaprojektowany tak, by izolować sam model jako klienta MCP. Otaczający stos agenta jest stały - zmienia się tylko testowany model. Dzięki temu wyniki dotyczą podatności konkretnego modelu, a nie całego systemu.

Benchmark obejmuje 25 typów ataków zrealizowanych jako 125 scenariuszy. Ataki podzielono według czterech powierzchni wejścia:

• model i agent,
• klient,
• serwer i narzędzie,
• transport.

Testy przeprowadzono na dziewięciu modelach, łącznie wykonując 3375 prób.

Wyniki - liczby

Średni wskaźnik skuteczności ataków wyniósł 64,4%. W podziale na powierzchnie wejścia średnie wahały się od 58,3% do 71,4%. Autorzy zastrzegają, że część ataków na poziomie klienta i transportu udaje się częściowo poza obserwacją lub kontrolą samego modelu - co oznacza, że należy odróżniać podatność modelu od ekspozycji całego systemu.

Zbadano też skuteczność obrony. Połączone skanowanie danych wejściowych i kontekstu zmniejszyło średni wskaźnik skuteczności ataków o 49,6% - ale ten wynik dotyczy tylko podzbioru ośmiu ataków i porównania z wariantem bez żadnych zabezpieczeń. Dokument nie podaje szczegółów dotyczących tego, jak ta obrona działa ani jakie konkretnie ataki wchodziły w skład testowanego podzbioru.

Czego w dokumencie nie ma

W abstrakcie nie podano nazw dziewięciu testowanych modeli - nie wiadomo, które konkretnie systemy były oceniane ani jak duże były między nimi różnice. Nie opisano też szczegółów poszczególnych 25 typów ataków ani metodologii skanowania użytego jako obrona. Sam benchmark jest publicznie dostępny pod adresem wskazanym w artykule, ale jego zawartość wykracza poza dostarczony tekst.

Co z tego wynika

Wynik 64,4% skuteczności ataków przy braku zabezpieczeń to liczba, której nie da się zbagatelizować - mówi, że przeciętny model działający jako klient MCP jest podatny na manipulację w większości prób. Ważne jest też rozróżnienie, które autorzy wprowadzają: część ataków działa nie dlatego, że model jest słaby, lecz dlatego, że leżą poza jego zasięgiem. To powinno zmienić sposób myślenia o tym, kto odpowiada za bezpieczeństwo takich systemów - sam model nie wystarczy jako jedyna linia obrony. Benchmark daje narzędzie do bardziej precyzyjnych porównań modeli, choć bez znajomości listy testowanych modeli trudno ocenić, jak różnicujące są wyniki w praktyce.

Źródło: arXiv cs.AI: COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol (MCP) Layers (dokument z 2026-10-20). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.