AI łatało luki w oprogramowaniu poprawnie tylko w 26% przypadków - nowe badanie 1Password

👁 118 przeczytań

6080 prób. Tyle razy modele językowe dostały szansę, żeby załatać konkretną lukę w oprogramowaniu. Wystarczyło wygenerować działający patch - nie odkryć podatności, nie opisać problemu, po prostu naprawić go w kodzie. Wynik: tylko co czwarta próba zakończyła się czymś, co w ogóle nadawało się do użycia.

To nie jest wynik z eksperymentu na zaśniedziałych, przestarzałych modelach. To dane z badania Off-By-1-Labs - nowego zespołu badań bezpieczeństwa firmy 1Password - opublikowanego w sierpniu 2026 roku. Raport nosi tytuł, który nie pozostawia złudzeń: Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D. Fix-Like Artifacts With Embedded Defects. Skrót FLAWED - „wadliwy” - jest tu jak najbardziej zamierzony.

Hipoteza kontra rzeczywistość

Badacze z Off-By-1-Labs zaczęli od założenia, które wydawało się rozsądne: czołowe modele AI, trenowane na gigantycznych repozytoriach kodu i publicznych bazach podatności, powinny radzić sobie z łataniem błędów przynajmniej przyzwoicie. Postawili wstępną hipotezę - skuteczność na poziomie około 67%. Dwie trzecie prób zakończone sukcesem to wynik, który uzasadniałby mówienie o AI jako realnym narzędziu w rękach zespołów bezpieczeństwa.

Rzeczywistość okazała się „znacząco niższa i bardziej nierówna, niż zakładaliśmy” - tak sami opisują swoje rozczarowanie autorzy raportu.

Do testów wybrano sześć niedawno ujawnionych podatności w oprogramowaniu open source. Kluczowy warunek selekcji: luki musiały być wystarczająco świeże, żeby nie trafiły jeszcze do zbiorów treningowych modeli. Inaczej test byłby bez sensu - model mógłby po prostu „przypomnieć sobie” gotowy patch z treningu zamiast faktycznie rozwiązać problem. Na liście znalazły się między innymi eskalacja uprawnień w Linuksie (CVE-2026-31431), zdalne wykonanie kodu w ActiveMQ (CVE-2026-34197), błąd use-after-free w Chrome na macOS (CVE-2026-8512) oraz luka w Gemini CLI (GHSA-wpqr-6v78-jr5g).

W badaniu wzięły udział dwa systemy: Claude oraz model oparty na Codex od OpenAI. Każdemu z nich zadano łatanie każdej podatności w dziewięciu różnych wariantach promptów i przy różnych warunkach środowiskowych. Łącznie dało to po około 3040 prób na model.

Co konkretnie poszło nie tak

Wyniki rozkładają się w sposób, który powinien dać do myślenia każdemu, kto planuje wpiąć AI w swój pipeline zarządzania podatnościami. Tylko 26% wygenerowanych patchy było faktycznie użytecznych. 21% prób trafiło do osobnej, niepokojącej kategorii: model technicznie naprawił zgłoszony błąd, ale przy okazji zmienił zachowanie aplikacji w sposób niezamierzony - tego rodzaju łata może być gorsza niż brak łaty, bo daje fałszywe poczucie bezpieczeństwa.

Najpoważniejsza liczba to jednak 53,9%. W ponad połowie przypadków model albo w ogóle nie wygenerował użytecznej łaty, albo wprowadził do kodu nowy błąd, albo - co najbardziej niepokojące - zrobił jedno i drugie jednocześnie. Wyobraź sobie sytuację: zespół bezpieczeństwa, działający pod presją czasu po ujawnieniu krytycznej podatności, sięga po AI żeby przyspieszyć pracę. Dostaje patch, wdraża go. I w efekcie ma dwa problemy zamiast jednego.

„Wyniki były znacząco niższe i bardziej nierówne, niż zakładaliśmy” - piszą badacze Off-By-1-Labs, opisując rozbieżność między wstępną hipotezą a danymi z eksperymentu.

Autorzy raportu zaznaczają wyraźnie, że ich badanie nie miało być rankingiem modeli - nie chodzi o to, żeby ogłosić, który LLM jest lepszy od drugiego. Celem było zmapowanie ogólnego stanu możliwości frontierowych modeli w konkretnym, praktycznym zadaniu z dziedziny bezpieczeństwa. I ten obraz jest jednoznaczny: stan jest słaby.

Dlaczego to ważne właśnie teraz

Kontekst, w którym pojawia się ten raport, jest istotny. Branża cybersecurity od kilku lat żyje w napięciu między dwoma trendami biegnącymi równolegle: AI coraz skuteczniej wykrywa błędy w kodzie i podatności w systemach - szybciej niż ludzcy analitycy - a jednocześnie atakujący coraz chętniej używają tych samych narzędzi do automatyzacji ataków. Logicznym uzupełnieniem tego obrazu miało być AI, które równie sprawnie naprawia, co wykrywa.

Dane z Off-By-1-Labs studzą ten optymizm. Badanie opublikowane przez ZDNet pokazuje, że wykrywanie i łatanie to dwie zupełnie inne kompetencje - i w tej drugiej modele mają poważną lukę kompetencyjną. Wystarczy spojrzeć na charakter testowanych podatności: to nie były proste, szablonowe błędy z kategorii SQL injection czy path traversal. To świeże, złożone luki w popularnym oprogramowaniu, wymagające rozumienia logiki konkretnego komponentu, a nie mechanicznego zastosowania wzorca.

Autorzy raportu nie twierdzą, że AI jest bezużyteczne w obronie przed zagrożeniami - zaznaczają wprost, że może być wartościowym elementem cyberobrony. Ale na razie wyraźnie nie w roli autonomicznego patch managera.

W praktyce oznacza to jedno: każdy AI-generowany patch wymaga weryfikacji przez człowieka - i to weryfikacji traktowanej poważnie, nie jako formalność.

Przy wskaźniku błędów przekraczającym 50%, automatyczne wdrażanie łat bez przeglądu kodu to nie przyspieszenie pracy - to zamiana jednego ryzyka na inne.

// czytaj dalejCzy modele AI rozumują poprawnie, ale z błędnych powodów?NewsyFałszywe zdjęcia ptaków generowane przez AI zagrażają badaniom naukowymNewsyAI poradziło źle, ale użytkownicy byli dwa razy bardziej pewni siebie - nowe badanieNewsy