Modele AI zbyt głęboko myślą - i to staje się luką bezpieczeństwa

👁 324 przeczytań

Modele AI nowej generacji, tzw. modele rozumowania (reasoning models), są podatne na specyficzny rodzaj ataku - wystarczy podać im celowo nielogiczny lub sprzeczny prompt, by zmusić je do pracy w nieskończoność i wyczerpania dostępnych zasobów obliczeniowych. Na to zagrożenie zwracają uwagę badacze opisani przez IEEE Spectrum.

Modele rozumowania, takie jak o1 czy o3 od OpenAI albo DeepSeek-R1, różnią się od standardowych modeli językowych sposobem działania. Zamiast od razu generować odpowiedź, prowadzą wewnętrzny proces „myślenia” - rozkładają problem na kroki, weryfikują własne rozumowanie i szukają błędów. Im trudniejsze zadanie, tym więcej kroków i tym więcej zużytych tokenów obliczeniowych. To właśnie ta cecha staje się wektorem ataku.

Logiczny system, nielogiczny prompt

Atakujący może skonstruować prompt zawierający wewnętrzne sprzeczności lub warunki niemożliwe do spełnienia. Model, zamiast szybko odrzucić takie dane wejściowe, wchodzi w pętlę prób rozwiązania problemu, który z definicji nie ma rozwiązania. Efekt to ogromne zużycie mocy obliczeniowej i czasu procesora - a w przypadku systemów udostępnianych publicznie przez API, realne koszty finansowe po stronie operatora i spowolnienie lub zablokowanie usługi dla innych użytkowników.

To klasyczna forma ataku denial-of-service (DoS), tyle że zamiast zalewać serwer ruchem sieciowym, napastnik zmusza sam model do samoistnego pochłaniania zasobów. Wystarczy stosunkowo niewielka liczba sprytnie skonstruowanych zapytań, by wyrządzić nieproporcjonalne szkody.

Problem jest o tyle poważny, że modele rozumowania są coraz szerzej wdrażane - w obsłudze klienta, kodowaniu, analizie dokumentów prawnych czy medycznych. Każde z tych zastosowań wiąże się z dostępem do API otwartego na zewnętrzne dane wejściowe, a więc potencjalnie na złośliwe prompty. Dostawcy mogą co prawda wprowadzać limity tokenów na jedno zapytanie, ale zbyt restrykcyjne ograniczenia uderzają w legalnych użytkowników rozwiązujących faktycznie złożone problemy.

Zdolność do głębokiego rozumowania, która miała być największą zaletą nowych modeli, staje się ich specyficzną słabością bezpieczeństwa.

Na razie branża nie wypracowała jednej skutecznej odpowiedzi na ten problem. Badacze wskazują na potrzebę mechanizmów wykrywania złośliwych promptów jeszcze przed przekazaniem ich do modelu oraz lepszego monitorowania anomalnego zużycia zasobów w czasie rzeczywistym.

// czytaj dalejDane syntetyczne są kuszące, ale mogą zatruć modele. Branża szuka granicy bezpieczeństwaPremiumModele sztucznej inteligencji jak nowe leki. Czy przed premierą będą musiały przechodzić testy bezpieczeństwa?PremiumModele genomowe zaprojektowały nowe wirusy. Pora zacząć się baćNewsy