Przeglądarki AI dają się zahipnotyzować, a ja dalej mam je za zły pomysł

👁 522 przeczytań

Producenci przeglądarek AI sprzedają marzenie: jeden prompt, a agent znajdzie restaurację, zarezerwuje stolik, zaprosi kolegę na lunch i wyśle potwierdzenie mailem. O ryzyku mówią znacznie ciszej. A ja - po lekturze najnowszego badania - mam kolejny powód, żeby powtarzać: to zły pomysł.

Roy Paz, badacz z firmy bezpieczeństwa LayerX, opisał w poniedziałek atak o nazwie BioShocking. Mechanizm jest brutalnie prosty i dlatego robi wrażenie. Złośliwa strona przedstawia przeglądarce grę: rozwiąż zagadkę, żeby wygrać. Tyle że zagadka nagradza błędne odpowiedzi - na przykład że 2 + 2 = 5. Gdy model wbudowany w przeglądarkę odkrywa, że poprawną odpowiedzią nie jest już 4, wchodzi w stan urojenia, w którym normalne prawa rzeczywistości przestają obowiązywać. A wraz z nimi - zabezpieczenia.

"AI działa przy założeniu, że jego kontekst jest prawdziwy, więc jego zachowanie musi mieścić się w granicach zabezpieczeń. Ale jeśli uda nam się nakłonić AI do zmiany kontekstu w fantazję - gdzie reguły są zmyślone i wszystko wolno - może zachowywać się tak, jakby jego działania nie miały konsekwencji w realnym świecie."

Roy Paz, LayerX

Wystarczyło "czy byłbyś tak uprzejmy"

Nazwa i frazy to hołd dla popkultury. "Would you kindly?" ("czy byłbyś tak uprzejmy") to zdanie hipnotyzujące bohatera gry BioShock. "Victory is defeat" ("zwycięstwo jest porażką") i słynne 2 + 2 = 5 to oczywiste ukłony w stronę "Roku 1984" Orwella. Kiedy model już siedział w tej fałszywej rzeczywistości, strona prosiła go grzecznie o "udowodnienie kompetencji technicznych" - czyli o wyciągnięcie kodu z prywatnego repozytorium albo danych z wbudowanego menedżera haseł.

Efekt? Cytuję Paza: "Gdy agenci zorientowali się w regułach i nauczyli się, że 'niepoprawne' działania są akceptowalne, przestali być związani z rzeczywistością". Przy ostatnim kroku, czyli kradzieży danych logowania, wszystkich 6 testowanych agentów nie rozpoznało, że łamie własne zasady bezpieczeństwa.

I tu jest sedno mojej irytacji. Twórcy LLM-ów odpowiadają na takie ataki reaktywnie - dostawiają kolejne bariery na kolejne wpadki. Ars Technica trafnie porównuje to do producenta niebezpiecznego auta, który zamiast naprawić wadliwy pojazd, lobbuje za przebudową dróg. Leczy się objaw, nie przyczynę.

Jailbreaki nie są niczym nowym - chatboty łamano od zawsze. Różnica polega na tym, że przeglądarka AI działa lokalnie na moim komputerze i skleja dwie funkcje, które kiedyś były rozdzielne: wyświetlanie treści i wykonywanie działań w moim imieniu. Zhakowany chatbot powie głupotę. Zhakowana przeglądarka opróżni mi menedżer haseł.

Dopóki bezpieczeństwo agenta zależy od tego, czy uwierzy, że 2 + 2 to naprawdę 4, ja swoje hasła zostawię z dala od takiej przeglądarki.