Jak sprawdzić, czy model AI naprawdę odmówi szkodliwej prośby po aktualizacji
Badacze opracowali narzędzie geometryczne o nazwie SKIN-DEEP, które analizuje wewnętrzne reprezentacje modeli językowych i przewiduje, jak trwałe jest ich bezpieczne zachowanie. Testy na 21 modelach pokazują, że standardowe benchmarki odmawiania odpowiedzi nie wystarczą do oceny stabilności tego zachowania.

Spis treści 5
👁 142 przeczytań
Wyobraź sobie, że model językowy zdaje egzamin z bezpieczeństwa - odmawia odpowiedzi na szkodliwe pytania, wyniki są dobre, wszyscy są zadowoleni. Problem pojawia się potem: po zwykłym, z pozoru niewinnym dostrojeniu modelu na nowych danych, te same zabezpieczenia mogą przestać działać. I nikt tego nie zauważa, dopóki nie jest za późno. Właśnie ten problem opisuje praca „Skin-Deep” przyjęta na konferencję Findings of AACL-IJCNLP 2026.
Na czym polega problem
Autorzy - zespół ośmiu badaczy z Dongyubem Jude Lee i Jungseobem Lee na czele - wskazują na podstawową lukę w obecnym podejściu do oceny bezpieczeństwa modeli. Standardowe testy behawioralne, czyli sprawdzanie, czy model odmawia szkodliwych poleceń, pokazują tylko aktualny stan. Nie mówią nic o tym, jak odporne jest to zachowanie na przyszłe zmiany. Twierdzą wprost: „Refusal on a safety benchmark does not reveal how stable that behavior will remain after model updates.”
Czym jest SKIN-DEEP
SKIN-DEEP to narzędzie diagnostyczne, które zamiast testować zachowanie modelu od zewnątrz, zagląda do jego wnętrza - konkretnie do tak zwanych aktywacji strumienia resztkowego (residual-stream activations). Metoda działa w trzech krokach. Po pierwsze, porównuje dwie wersje modelu: wyrównaną (aligned, czyli po treningu bezpieczeństwa) i bazową (przed nim), żeby znaleźć kierunki w przestrzeni reprezentacji odpowiedzialne za oddzielanie treści bezpiecznych od szkodliwych. Po drugie, sprawdza, czy te kierunki rzeczywiście mają znaczenie dla zachowania modelu poprzez ich ablację - czyli usuwanie. Po trzecie, podsumowuje wzorzec warstwa po warstwie w jednej liczbie zwanej Geometric Fragility Score (GFS).
Co pokazały testy na 21 modelach
Badacze przetestowali metodę na 21 modelach dostrojonych do instrukcji. We wszystkich zaobserwowali powtarzający się wzorzec: szkodliwe prośby i niewinne instrukcje są od siebie oddzielone w przestrzeni reprezentacji w sposób niskorzędowy (low-rank). Ablacja wybranych kierunków osłabiała zdolność modelu do odmawiania odpowiedzi - przy czym konkretny skuteczny kierunek różnił się między modelami.
Kluczowy wynik dotyczy eksperymentów z niskorzędowym dostrojeniem na niewinnych danych. Model, który przed dostrojeniem miał najniższy wynik GFS, po wytrenowaniu na największym testowanym zbiorze nieszkodliwych przykładów wykazywał najniższy wskaźnik podatności na szkodliwe polecenia. Innymi słowy: niski GFS przed dostrojeniem korelował z lepszą odpornością po nim.
Co to oznacza w praktyce
Autorzy nie twierdzą, że SKIN-DEEP zastępuje standardowe testy behawioralne. Piszą wyraźnie, że diagnostyka oparta na aktywacjach ma być uzupełnieniem testów odmawiania, nie ich zamiennikiem. Kod narzędzia jest publicznie dostępny. Praca liczy 14 stron, zawiera 4 rysunki i 10 tabel. Szczegółów dotyczących tego, które konkretnie modele były testowane, ani tego, jak dokładnie obliczany jest GFS, w samym abstrakcie nie ma - te informacje wymagają lektury pełnego tekstu.
Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.
Co z tego wynika
To badanie jest dla mnie ważne z jednego prostego powodu: pokazuje, że pytanie „czy model jest bezpieczny” powinno być zastąpione pytaniem „jak bardzo bezpieczny będzie po kolejnej aktualizacji”. Jeśli GFS naprawdę przewiduje podatność na osłabienie zabezpieczeń, to mamy do czynienia z narzędziem, które może zmienić sposób audytowania modeli przed ich wdrożeniem. Zastrzeżenie: znamy tylko abstrakt, a korelacja między GFS a odpornością pochodzi z jednego eksperymentu na największym zbiorze danych - to za mało, żeby mówić o udowodnionym związku przyczynowym.
Źródło: arXiv cs.AI: Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations (dokument z 2026-10-02). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

Autor
Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.
Czytaj dalej
Newsy · Anthropic wpadł we własne sidła. Gdy straszysz, że twój model jest groźny, ktoś w końcu ci uwierzyAdministracja Trumpa kazała Anthropic w 90 minut wyłączyć Mythos 5 i Fable 5 - a firma spędziła weekend, tłumacząc, że jej własny model wcale nie...
Premium · Najgorsza premiera AI roku? Fable 5 pokazuje, że dobry model może przegrać z regulacjamiPremiera Claude Fable 5, zaprezentowanego 9 czerwca 2026 roku, zakończyła się zawieszeniem dostępu po trzech dniach. Powodem była dyrektywa rządu USA.
Premium · OpenAI nie chce zezwoleń na każdy model. Spór o regulację AI w USA wchodzi w najważniejszą fazęSam Altman ma przekonywać amerykańskich prawodawców, by nie wprowadzali obowiązkowych zezwoleń przed premierą nowych modeli AI. OpenAI opowiada się...- generatornia.plSuno cena 2026: plany, limity pobrań i prawa autorskie
- przewagi.plAutomatyzacja faktur: zacznij od obiegu i wyjątków, potem dodaj AI
- jutropis.plKE konsultuje formularz oceny wpływu AI na prawa podstawowe
- dygot.plGrammy 2027: nominacje dla Kanyego Westa. Akademia nie przestraszyła się zarzutów o AI


