Modele AI zbyt głęboko myślą - i to staje się luką bezpieczeństwa
Tzw. modele rozumowania można nakłonić do pochłaniania ekstremalnych ilości zasobów obliczeniowych za pomocą celowo nielogicznych promptów - co otwiera drogę do ataków typu denial-of-service.
👁 345 przeczytań
Modele AI nowej generacji, tzw. modele rozumowania (reasoning models), są podatne na specyficzny rodzaj ataku - wystarczy podać im celowo nielogiczny lub sprzeczny prompt, by zmusić je do pracy w nieskończoność i wyczerpania dostępnych zasobów obliczeniowych. Na to zagrożenie zwracają uwagę badacze opisani przez IEEE Spectrum.
Modele rozumowania, takie jak o1 czy o3 od OpenAI albo DeepSeek-R1, różnią się od standardowych modeli językowych sposobem działania. Zamiast od razu generować odpowiedź, prowadzą wewnętrzny proces „myślenia” - rozkładają problem na kroki, weryfikują własne rozumowanie i szukają błędów. Im trudniejsze zadanie, tym więcej kroków i tym więcej zużytych tokenów obliczeniowych. To właśnie ta cecha staje się wektorem ataku.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Logiczny system, nielogiczny prompt
Nie przepłacaj za te subskrypcje
Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.
Atakujący może skonstruować prompt zawierający wewnętrzne sprzeczności lub warunki niemożliwe do spełnienia. Model, zamiast szybko odrzucić takie dane wejściowe, wchodzi w pętlę prób rozwiązania problemu, który z definicji nie ma rozwiązania. Efekt to ogromne zużycie mocy obliczeniowej i czasu procesora - a w przypadku systemów udostępnianych publicznie przez API, realne koszty finansowe po stronie operatora i spowolnienie lub zablokowanie usługi dla innych użytkowników.
To klasyczna forma ataku denial-of-service (DoS), tyle że zamiast zalewać serwer ruchem sieciowym, napastnik zmusza sam model do samoistnego pochłaniania zasobów. Wystarczy stosunkowo niewielka liczba sprytnie skonstruowanych zapytań, by wyrządzić nieproporcjonalne szkody.
Problem jest o tyle poważny, że modele rozumowania są coraz szerzej wdrażane - w obsłudze klienta, kodowaniu, analizie dokumentów prawnych czy medycznych. Każde z tych zastosowań wiąże się z dostępem do API otwartego na zewnętrzne dane wejściowe, a więc potencjalnie na złośliwe prompty. Dostawcy mogą co prawda wprowadzać limity tokenów na jedno zapytanie, ale zbyt restrykcyjne ograniczenia uderzają w legalnych użytkowników rozwiązujących faktycznie złożone problemy.
Zdolność do głębokiego rozumowania, która miała być największą zaletą nowych modeli, staje się ich specyficzną słabością bezpieczeństwa.
Na razie branża nie wypracowała jednej skutecznej odpowiedzi na ten problem. Badacze wskazują na potrzebę mechanizmów wykrywania złośliwych promptów jeszcze przed przekazaniem ich do modelu oraz lepszego monitorowania anomalnego zużycia zasobów w czasie rzeczywistym.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
