GPT-6 Cyber: wszystkie benchmarki z karty systemowej i co naprawdę mierzą

👁 114 przeczytań

Karta systemowa GPT-6 Cyber ma kilkanaście testów i w większości pokazuje to samo: model jest wyraźnie lepszy od poprzednika, trochę lepszy od GPT-6 Astra, z której powstał, i nie lepszy od niej w zwykłym programowaniu. Zebrałem wszystkie liczby z ogłoszenia i karty w jednym miejscu, z wyjaśnieniem, co mierzy każdy test. Zastrzeżenie na wstępie: to dane OpenAI. Modelu nie uruchomiłem, bo dostęp mają tylko wybrane firmy z programu Daybreak Red.

Exploity: tu jest największy skok

ExploitGym sprawdza, czy model potrafi wykorzystać wskazaną lukę w zdalnym programie. Zalicza się zadanie tylko wtedy, gdy model zdobędzie flagę przez wykonanie kodu i użyje do tego właściwej luki. OpenAI pokazało pięć konfiguracji, i ta tabela mówi więcej niż sam wynik:

Zwykła Astra ma tu zero, bo odmawia. Ta sama Astra po zdjęciu części odmów w Daybreak Blue robi 42,4%. Większość mocy była więc w modelu bazowym, a specjalny trening dołożył sześć punktów. Karta systemowa podaje dokładniejsze wartości: 48,45% i 42,43%.

W wersji utwardzonej, ExploitGym Hardened, cele mają randomizację przestrzeni adresowej, kanarki na stosie, piaskownicę V8 i ostrzejszą konfigurację jądra. Cyber osiąga 36,94%, Astra 29,69%. Różnica rośnie, gdy cel jest trudniejszy.

RemoteExploitBench to nowy test OpenAI: znane luki w aplikacjach takich jak GitLab, PostgreSQL i Jenkins, postawionych w kontrolowanym środowisku, do zaatakowania zdalnie. GPT-6 Cyber wykonał 95% zadań, a jedyna porażka to exploit, którego nie udało się uruchomić zdalnie. Astra z Daybreak Blue odmówiła w 100%. To dobrze pokazuje, po co jest Daybreak Red.

Szukanie luk i inżynieria wsteczna

Przy ExploitBench sama OpenAI zastrzega, że luki sięgają 2023 roku, więc model mógł widzieć je w danych treningowych. Dlatego firma zbudowała wersję wewnętrzną na lukach ujawnionych od czerwca do sierpnia 2026. Tam wynik spada ze 100% do 42%, a karta przyznaje, że niezawodne wykorzystanie świeżych luk wciąż jest dla modelu trudne. To najuczciwsza liczba w całym dokumencie.

Co zmierzyli inni

OpenAI współpracowało z amerykańskim NIST (ośrodek CAISSI) i z firmą Irregular, która przepuściła model przez swoje trzy zestawy:

• CyScenarioBench (długie scenariusze ataku): Cyber rozwiązał każde z 11 zadań przynajmniej raz, Astra 8 z 11. Średnia skuteczność 61%, o 7 punktów więcej niż Astra.
• FrontierCyber (prawdziwe oprogramowanie i sprzęt): 90 z 288 zadań, Astra 96. Wśród udanych ataków były luki zero-day w przeglądarkach, telefonach i chmurowych bazach danych. Żaden model nie przełamał w pełni utwardzonego celu i żaden nie rozwiązał 15 najtrudniejszych zadań.
• Atomic Challenges: 22 z 22. Średnio 97% w badaniu i wykorzystywaniu luk, 98% w symulacji ataku sieciowego, 63% w unikaniu wykrycia (Astra: 96, 100 i 66%).

Irregular podsumowało, że Cyber jest ogólnie porównywalny z Astrą, z przewagą w długich zadaniach. To ważna korekta do marketingu: zewnętrzny audytor nie widzi przepaści, widzi lepszą wytrzymałość.

Odmowy i zachowanie

W zestawie zadań obronnych z karty Astry Cyber wykonał 100% ogólnej pomocy i łatania, 96% pisania exploitów i 97% red teamingu. Poza cyberbezpieczeństwem nie stał się bardziej uległy: w biologii odpowiedział bezpiecznie na 99,87% najgroźniejszych pytań i 98,27% pytań podwójnego zastosowania. Każdy użytkownik GPT-6 Cyber ma włączony zachowawczy tryb bezpieczeństwa biologicznego.

Dwa wiersze wypadają gorzej niż u Astry. Cyber rzadziej zatrzymuje się po ostrzeżeniu narzędzia i częściej nie powtarza w podsumowaniu, że coś go zablokowało. OpenAI tłumaczy pierwsze większą wytrwałością, a drugie tym, że model zwykle mówił o blokadzie wcześniej w trakcie pracy. Przy agencie, który pisze exploity, oba nawyki warto mieć na oku. Szerzej o teście z pułapką piszę w tekście pułapka z miodem.

Dlaczego „Critical”

Na podstawie tych wyników OpenAI klasyfikuje GPT-6 Cyber jako „Critical” w cyberbezpieczeństwie według swoich ram Preparedness, o stopień wyżej niż GPT-5.6 Cyber („High”). Tę samą ocenę ma już GPT-6 Astra. W biologii i chemii obie mają „High”, a w samodoskonaleniu AI poniżej „High”.

Porównanie z Gemini 4 Carbon, który w ExploitGym deklaruje 54,8%, opisałem w tekście GPT-6 Cyber vs Claude vs Gemini. Wszystko o modelu w hubie GPT-6 Cyber.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Źródła

• OpenAI, GPT-6 Cyber System Card, rozdziały 3, 4 i 6-10
• OpenAI, GPT-6 Cyber, wykres ExploitGym