Modele AI zbyt głęboko myślą - i to staje się luką bezpieczeństwa
Tzw. modele rozumowania można nakłonić do pochłaniania ekstremalnych ilości zasobów obliczeniowych za pomocą celowo nielogicznych promptów - co otwiera drogę do ataków typu denial-of-service.
- Modele rozumowania AI można okłamać illogicznymi promptami, wywołując atak denial-of-service przez wyczerpanie zasobów obliczeniowych.
- Problem wynika z natury modeli reasoning - 'myślą' one dłużej nad trudnymi zadaniami, co atakujący mogą wykorzystać do przeciążenia systemu.
- Badacze opisani przez IEEE Spectrum wskazują, że zagrożenie dotyczy każdego systemu opartego na modelach rozumowania udostępnionych publicznie.
👁 256 przeczytań
Modele AI nowej generacji, tzw. modele rozumowania (reasoning models), są podatne na specyficzny rodzaj ataku - wystarczy podać im celowo nielogiczny lub sprzeczny prompt, by zmusić je do pracy w nieskończoność i wyczerpania dostępnych zasobów obliczeniowych. Na to zagrożenie zwracają uwagę badacze opisani przez IEEE Spectrum.
Modele rozumowania, takie jak o1 czy o3 od OpenAI albo DeepSeek-R1, różnią się od standardowych modeli językowych sposobem działania. Zamiast od razu generować odpowiedź, prowadzą wewnętrzny proces "myślenia" - rozkładają problem na kroki, weryfikują własne rozumowanie i szukają błędów. Im trudniejsze zadanie, tym więcej kroków i tym więcej zużytych tokenów obliczeniowych. To właśnie ta cecha staje się wektorem ataku.
Google · Twoje źródłaDodaj promptowy.com do preferowanych źródeł w Google→Logiczny system, nielogiczny prompt
Atakujący może skonstruować prompt zawierający wewnętrzne sprzeczności lub warunki niemożliwe do spełnienia. Model, zamiast szybko odrzucić takie dane wejściowe, wchodzi w pętlę prób rozwiązania problemu, który z definicji nie ma rozwiązania. Efekt to ogromne zużycie mocy obliczeniowej i czasu procesora - a w przypadku systemów udostępnianych publicznie przez API, realne koszty finansowe po stronie operatora i spowolnienie lub zablokowanie usługi dla innych użytkowników.
To klasyczna forma ataku denial-of-service (DoS), tyle że zamiast zalewać serwer ruchem sieciowym, napastnik zmusza sam model do samoistnego pochłaniania zasobów. Wystarczy stosunkowo niewielka liczba sprytnie skonstruowanych zapytań, by wyrządzić nieproporcjonalne szkody.
Problem jest o tyle poważny, że modele rozumowania są coraz szerzej wdrażane - w obsłudze klienta, kodowaniu, analizie dokumentów prawnych czy medycznych. Każde z tych zastosowań wiąże się z dostępem do API otwartego na zewnętrzne dane wejściowe, a więc potencjalnie na złośliwe prompty. Dostawcy mogą co prawda wprowadzać limity tokenów na jedno zapytanie, ale zbyt restrykcyjne ograniczenia uderzają w legalnych użytkowników rozwiązujących faktycznie złożone problemy.
Zdolność do głębokiego rozumowania, która miała być największą zaletą nowych modeli, staje się ich specyficzną słabością bezpieczeństwa.
Na razie branża nie wypracowała jednej skutecznej odpowiedzi na ten problem. Badacze wskazują na potrzebę mechanizmów wykrywania złośliwych promptów jeszcze przed przekazaniem ich do modelu oraz lepszego monitorowania anomalnego zużycia zasobów w czasie rzeczywistym.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.