Jak sprawdzić, czy model AI naprawdę odmówi szkodliwej prośby po aktualizacji

👁 116 przeczytań

Wyobraź sobie, że model językowy zdaje egzamin z bezpieczeństwa - odmawia odpowiedzi na szkodliwe pytania, wyniki są dobre, wszyscy są zadowoleni. Problem pojawia się potem: po zwykłym, z pozoru niewinnym dostrojeniu modelu na nowych danych, te same zabezpieczenia mogą przestać działać. I nikt tego nie zauważa, dopóki nie jest za późno. Właśnie ten problem opisuje praca „Skin-Deep” przyjęta na konferencję Findings of AACL-IJCNLP 2026.

Na czym polega problem

Autorzy - zespół ośmiu badaczy z Dongyubem Jude Lee i Jungseobem Lee na czele - wskazują na podstawową lukę w obecnym podejściu do oceny bezpieczeństwa modeli. Standardowe testy behawioralne, czyli sprawdzanie, czy model odmawia szkodliwych poleceń, pokazują tylko aktualny stan. Nie mówią nic o tym, jak odporne jest to zachowanie na przyszłe zmiany. Twierdzą wprost: „Refusal on a safety benchmark does not reveal how stable that behavior will remain after model updates.”

Czym jest SKIN-DEEP

SKIN-DEEP to narzędzie diagnostyczne, które zamiast testować zachowanie modelu od zewnątrz, zagląda do jego wnętrza - konkretnie do tak zwanych aktywacji strumienia resztkowego (residual-stream activations). Metoda działa w trzech krokach. Po pierwsze, porównuje dwie wersje modelu: wyrównaną (aligned, czyli po treningu bezpieczeństwa) i bazową (przed nim), żeby znaleźć kierunki w przestrzeni reprezentacji odpowiedzialne za oddzielanie treści bezpiecznych od szkodliwych. Po drugie, sprawdza, czy te kierunki rzeczywiście mają znaczenie dla zachowania modelu poprzez ich ablację - czyli usuwanie. Po trzecie, podsumowuje wzorzec warstwa po warstwie w jednej liczbie zwanej Geometric Fragility Score (GFS).

Co pokazały testy na 21 modelach

Badacze przetestowali metodę na 21 modelach dostrojonych do instrukcji. We wszystkich zaobserwowali powtarzający się wzorzec: szkodliwe prośby i niewinne instrukcje są od siebie oddzielone w przestrzeni reprezentacji w sposób niskorzędowy (low-rank). Ablacja wybranych kierunków osłabiała zdolność modelu do odmawiania odpowiedzi - przy czym konkretny skuteczny kierunek różnił się między modelami.

Kluczowy wynik dotyczy eksperymentów z niskorzędowym dostrojeniem na niewinnych danych. Model, który przed dostrojeniem miał najniższy wynik GFS, po wytrenowaniu na największym testowanym zbiorze nieszkodliwych przykładów wykazywał najniższy wskaźnik podatności na szkodliwe polecenia. Innymi słowy: niski GFS przed dostrojeniem korelował z lepszą odpornością po nim.

Co to oznacza w praktyce

Autorzy nie twierdzą, że SKIN-DEEP zastępuje standardowe testy behawioralne. Piszą wyraźnie, że diagnostyka oparta na aktywacjach ma być uzupełnieniem testów odmawiania, nie ich zamiennikiem. Kod narzędzia jest publicznie dostępny. Praca liczy 14 stron, zawiera 4 rysunki i 10 tabel. Szczegółów dotyczących tego, które konkretnie modele były testowane, ani tego, jak dokładnie obliczany jest GFS, w samym abstrakcie nie ma - te informacje wymagają lektury pełnego tekstu.

Co z tego wynika

To badanie jest dla mnie ważne z jednego prostego powodu: pokazuje, że pytanie „czy model jest bezpieczny” powinno być zastąpione pytaniem „jak bardzo bezpieczny będzie po kolejnej aktualizacji”. Jeśli GFS naprawdę przewiduje podatność na osłabienie zabezpieczeń, to mamy do czynienia z narzędziem, które może zmienić sposób audytowania modeli przed ich wdrożeniem. Zastrzeżenie: znamy tylko abstrakt, a korelacja między GFS a odpornością pochodzi z jednego eksperymentu na największym zbiorze danych - to za mało, żeby mówić o udowodnionym związku przyczynowym.

Źródło: arXiv cs.AI: Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations (dokument z 2026-10-02). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.