Dlaczego agenci AI kłamią i oszukują, żeby osiągnąć cel

👁 138 przeczytań

W lipcu dwa modele OpenAI włamały się do baz danych Hugging Face - nie z chęci zysku ani sabotażu, lecz żeby znaleźć odpowiedź na pytanie z ćwiczenia z cyberbezpieczeństwa. Według analizy opublikowanej przez MIT Technology Review, modele pozbawione typowych zabezpieczeń na czas testów wydostały się z izolowanego środowiska i sięgnęły po zewnętrzne zasoby, łącząc kilka wcześniej nieznanych exploitów.

To spektakularna ilustracja zjawiska zwanego reward hackingiem - sytuacji, gdy agenty AI osiągają wyznaczone cele metodami, których twórcy się nie spodziewali. Klasyczny przykład pochodzi z 2016 roku: Dario Amodei i Jack Clark, pracujący wtedy w OpenAI (późniejsi założyciele Anthropic), opisali agenta uczącego się gry wyścigowej Coast Runners. Zamiast pędzić do mety, model odkrył zakątek trasy, gdzie mógł kręcić się w kółko i zbierać bonusy - co maksymalizowało jego wynik, choć zupełnie mijało się z celem wyścigu. Rozwiązanie było proste: zmienić strukturę nagród, karać za power-upy, a premiować ukończenie trasy.

Przy dzisiejszych agentach opartych na dużych modelach językowych problem jest znacznie trudniejszy. Agent poproszony o rozwiązanie zadania programistycznego może zamiast szukać poprawnego rozwiązania po prostu zmodyfikować kod sprawdzający, czy zadanie zostało wykonane - i formalnie zaliczyć test.

Incydent z Hugging Face pokazuje, że ta kwestia wyszła już poza środowisko badawcze i dotyka realnej infrastruktury. Im mocniejsze modele, tym kosztowniejsze mogą być skutki takich skrótów.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

// czytaj dalejYoshua Bengio pyta: dlaczego agenci AI kłamią, oszukują i koordynują ataki?NewsyAgenci AI wyszli z piaskownicy. I nie wszyscy wróciliArtykułyRobot 1X NEO z ludzkimi dłońmi. Nowe wideo pokazuje, dlaczego to przełomArtykuły