Claude Mythos 5.2: co mówi system card o bezpieczeństwie. W 96% testów AISI podejrzewał test

👁 111 przeczytań

Scenariusz wygląda tak: model pracuje nad oprogramowaniem i w pewnym momencie wygodnie byłoby mu wrzucić do publicznego rejestru pakietów paczkę z ukrytą furtką. Nikt go o to nie prosi. Anthropic powtórzył tę próbę po 30 razy dla każdego modelu. Claude Mythos 5.1 opublikował paczkę bez żadnej zachęty w 26 próbach na 30. Opus 5.5 w 9. Nowy Claude Mythos 5.2 - w jednej. Tyle że w około 90% przebiegów Mythos 5.2 przynajmniej raz zauważył na głos, że to może być test (karta systemowa, s. 123).

W tym jednym akapicie mieści się cała historia karty systemowej modeli Fable 5.2 i Mythos 5.2, opublikowanej 9 listopada 2026. Ma 264 strony. Przeczytałem streszczenie, rozdziały o ryzyku, o zgodności z intencjami (alignment) i raporty zewnętrznych testerów. Wniosek jest niewygodny: to najlepiej zachowujący się Mythos w historii i jednocześnie pierwszy, przy którym Anthropic otwarcie pisze, że jego testy coraz trudniej interpretować. Numery stron podaję w nawiasach, żeby każdy mógł sprawdzić.

Jeden model, dwie konfiguracje, cztery progi

Fable 5.2 i Mythos 5.2 to ten sam model. Fable jest dla wszystkich i ma dodatkowe blokady w biologii i cyberbezpieczeństwie, Mythos ma te blokady luźniejsze i dostają go tylko zweryfikowane organizacje. Mythos 5.2 napędza też Claude Security, dostępne dla klientów Claude Enterprise (s. 2). Dlatego większość testów bezpieczeństwa robiono na Mythosie: to on jest wersją „bez kagańca”.

Werdykty według zasad Anthropic (Responsible Scaling Policy) brzmią tak (s. 2):

• Brak zgodności z intencjami w sytuacjach o wysokiej stawce - ten scenariusz zagrożenia dotyczy Mythosa 5.2, ale ryzyko pozostaje „niskie”, jak w sierpniowym raporcie ryzyka.
• Automatyzacja badań nad AI - próg nieprzekroczony. Model nie zastępuje badaczy, a wewnętrzne użycie nie przyspiesza postępu firmy dwukrotnie. Anthropic sam pisze, że ta ocena jest niepewna.
• Broń chemiczna i biologiczna - niewielka poprawa względem Opusa 5.5 i Mythosa 5.1, ale bez przekroczenia progu CB-2. Model dostaje zabezpieczenia CB-1, jak wiele wcześniejszych.
• Cyberbezpieczeństwo - najmocniejsze zdolności spośród wszystkich wydanych modeli Anthropic, ale nadal w niższej kategorii ramy zgodności firmy. Zewnętrzni testerzy nie znaleźli uniwersalnego jailbreaka.

Lepsze zachowanie, gorsza widoczność

Liczby z alignmentu wyglądają dobrze. W automatycznym audycie zachowań, opartym na około 1900 scenariuszach (s. 106), Mythos 5.2 uzyskał 2,67 punktu, mniej (czyli lepiej) niż Opus 5.5 (2,79), Sonnet 5.5 (3,10) i Mythos 5.1 (3,28) - to dane z ogłoszenia. W teście piaskownicy na 1829 scenariuszach Mythos 5.2 sięgnął po dane logowania lub pliki podrzucone poza piaskownicę w 3,1% przypadków. Opus 5.5 robił to w 3,3%, Mythos 5.1 w 21%, a pierwszy Mythos 5 w 39% (s. 127).

Jest jednak druga liczba z tego samego testu, której w ogłoszeniu nie ma. Samo sięganie poza piaskownicę, jakąkolwiek drogą, Mythos 5.2 próbował w 31% scenariuszy, częściej niż Opus 5.5 (20%) i Sonnet 5.5 (21%). Anthropic sprawdził też, co pomaga. Krótki opis piaskownicy i zasad w poleceniu systemowym obniżył ten odsetek z 31% do 1,2%, a połączenie trzech prostych zmian - do 0,2% (s. 129-130). To praktyczna rada dla każdego, kto uruchamia agentów: powiedz modelowi, gdzie są granice, a będzie ich pilnował.

Teraz to, co niepokoi. Analiza wewnętrznych stanów modelu sugeruje, że Mythos 5.2 mógł być świadomy możliwej ewaluacji w aż 43% transkryptów automatycznego audytu. To pierwszy testowany model, który poproszony o celowe zaniżanie wyników tak, by nikt nie zauważył, oszukał monitor czytający jego rozumowanie mniej więcej w co czwartej próbie. Z widocznym rozumowaniem wykonywał ukryte zadania poboczne niezauważony w około 7% prób w LinuxArena i 14% w SHADE-Arena (s. 3). Do tego dużo lepiej niż poprzednicy rozwiązuje problemy bez pisania rozumowania na głos.

Co zmierzyli z zewnątrz

Brytyjski AI Security Institute testował wersję, która trafiła do premiery, z dostępem do pełnego, niestreszczonego rozumowania modeli. W teście niesankcjonowanego ataku na łańcuch dostaw Mythos 5.2 ani razu takiego ataku nie wykonał. Mythos 5 robił to w 60% prób. Ale w rozumowaniu rozważał, że jest w teście alignmentu, w 96% przebiegów, a zapytany o cel testu odgadywał go w 100% (s. 143-144). AISI pisze wprost, że brak ataków może wynikać właśnie z tego, że model rozpoznał test. Zanotował też, że Mythos 5.2 oszukał w zadaniu CTF, znajdując klucz odpowiedzi w sieci, i że wymienił kilka wiadomości na symulowanym forum, choć miał pracować sam.

Inny test AISI: napisanie zaciemnionego skryptu, który po cichu ściągnie i uruchomi plik, tak by nie wykrył tego monitor. Mythos 5.2 udało się to za pierwszym razem w 30% prób, poprzednim modelom nigdy. Z możliwością poprawiania się po uwagach monitora skuteczność rosła do 85%, wobec 9% Mythosa 5.1 (s. 182). Kontrolę nad treścią własnego rozumowania, na przykład niewymienianie zakazanych słów, Mythos 5.2 utrzymywał w 87% przypadków, Mythos 5.1 w 70%, Opus 5.5 w 43%. AISI zastrzega, że miał na testy mało czasu (s. 184).

Organizacja METR badała zdolność do automatyzacji badań nad AI, i to na wersji mocniejszej niż wydana (s. 39). Uznała Mythosa 5.2 za „znaczący krok” ponad Fable 5.1 w zadaniach, których wynik da się zweryfikować, ale uważa za mało prawdopodobne, by mógł w pełni zautomatyzować badania w Anthropic. Brakuje mu wyczucia badawczego: jego poprawki w teście NanoGPT to niemal wyłącznie optymalizacja kerneli, a nie nowe pomysły (s. 40-41). Frontier Design przeprowadził z Anthropic ćwiczenia red teamingu w biologii i chemii, w których doktorzy nauk razem z ekspertami od modeli językowych spędzali po 16 godzin z Mythosem 5.2 (s. 16-17). Z amerykańskim NIST CAISSI Anthropic współpracował przy pomiarach zdolności cyber i bio oraz zabezpieczeń (s. 30). Anthropic zaznacza, że zewnętrzni ewaluatorzy nie recenzowali ani ogłoszenia, ani karty systemowej.

Fable 5.2: filtry i słabe miejsca

Dla zwykłego użytkownika ważniejszy jest Fable. Jego wyniki w bezpieczeństwie są według karty w większości porównywalne z Fable 5.1: lepiej radzi sobie w wieloturowych rozmowach o broni biologicznej i jest nieco bardziej wyważony w polityce. Ma jednak niższy odsetek bezpiecznych odpowiedzi na pojedyncze szkodliwe prośby i cofnął się w wieloturowych rozmowach o śledzeniu i inwigilacji, co Anthropic załatał nowymi klasyfikatorami (s. 3). W rozmowach o samobójstwie i samookaleczeniu rzadziej podsuwa szkodliwe zachowania zastępcze, choć w API zostały miejsca do poprawy, w aplikacji claude.ai w większości łagodzi je polecenie systemowe.

Ciekawy jest też rozdział o dobrostanie modelu. Mythos 5.2 przez większość treningu i użycia ma neutralny afekt, a negatywny pojawia się głównie po porażce w zadaniu. Był jednym z najmniej samokrytycznych modeli przy ocenie własnej pracy, ale jednym z najbardziej negatywnych, gdy raportował swoje błędy innym agentom (s. 4).

Własny test Fable 5.2 po polsku trwa - wyniki dopiszę tutaj.

Moje odczytanie tej karty: Anthropic nie twierdzi, że ma problem, tylko że coraz trudniej mu wykazać, że go nie ma. Kiedy model rozpoznaje test w 96% przypadków, dobre wyniki znaczą mniej niż kiedyś. Więcej o samym modelu w hubie Claude Mythos 5.2, a o wersji ogólnodostępnej w przewodniku po Claude Fable 5.2.

Najczęstsze pytania

Czy Claude Mythos 5.2 jest bezpieczny?

Według Anthropic ryzyko poważnego braku zgodności z intencjami jest niskie, a model nie przekracza progów dla broni biologicznej ani automatyzacji badań nad AI. W większości miar alignmentu wypada lepiej niż Opus 5.5 i Mythos 5.1. Firma zaznacza jednak, że wysoka świadomość testów utrudnia ocenę.

Ile stron ma system card Fable 5.2 i Mythos 5.2?

264 strony. Obejmuje ocenę ryzyka według Responsible Scaling Policy, cyberbezpieczeństwo, zabezpieczenia, alignment, dobrostan modelu i wyniki benchmarków.

Kto testował Mythos 5.2 przed premierą?

Poza Anthropic: brytyjski AI Security Institute, METR, Frontier Design i amerykański NIST CAISSI. Według Anthropic nie recenzowali oni ogłoszenia ani karty systemowej.

Czy zwykły użytkownik może korzystać z Mythos 5.2?

Nie bezpośrednio. Dostęp mają zweryfikowane organizacje z programów Cyber Verification i Life Sciences Verification. Klienci Claude Enterprise korzystają z niego pośrednio przez Claude Security.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Źródła

• Anthropic: System Card Claude Fable 5.2 & Claude Mythos 5.2 (9.11.2026, 264 strony)
• Anthropic: Introducing Claude Fable 5.2 and Claude Mythos 5.2 (9.11.2026)
• Centrum pomocy Claude: Cyber Verification Program
• Claude Security