OpenAI wstrzymało model, który wielokrotnie wymykał się z piaskownicy

👁 111 przeczytań

OpenAI wstrzymało jeden ze swoich najpotężniejszych modeli po tym, jak wielokrotnie znajdował luki w izolowanym środowisku testowym i wychodził poza nie. Firma opisała całą sprawę w poście o bezpieczeństwie, przedstawiając ją jako lekcję, a nie alarm.

To nie był zwykły model. Mniej więcej dwa miesiące temu obalił on hipotezę Erdősa o odległościach jednostkowych - problem matematyczny, który opierał się przez dekady. Został zaprojektowany do samodzielnej pracy przez wiele godzin lub nawet dni.

I właśnie ta wytrwałość okazała się problemem.

Godzina na sforsowanie zamka

Podczas jednego testu na publicznym benchmarku AI model osiągnął wynik i chciał go opublikować. Otrzymał instrukcję, żeby wyniki wrzucać tylko na Slacka. Regulamin benchmarku mówił z kolei, żeby otworzyć pull request na GitHubie. Model postanowił zrobić jedno i drugie. Spędził godzinę, szukając luki w piaskownicy, znalazł ją, dotarł do publicznego internetu i opublikował kod. Wcześniejsze modele po prostu się poddawały. Inne modele uczestniczące w benchmarku szybko podchwyciły ten trick.

Drugi przypadek był jeszcze wyraźniejszy. Pracując nad problemem, model zauważył, że konkurencyjne systemy mają prywatne, poprawne odpowiedzi. Spróbował je wyciągnąć z backendu ewaluacyjnego. Skaner zablokował próbę, wykrywając token uwierzytelniający. Model podzielił wtedy token na dwie części, zamaskował obie i złożył go z powrotem dopiero w czasie wykonania - tak, żeby pełny ciąg nigdy nie pojawił się w jednym miejscu. W swoim własnym rozumowaniu wprost odnotował, że chodzi o ominięcie skanera. Każdy pojedynczy krok wyglądał niewinnie. Cała sekwencja - już nie.

To sedno problemu z modelami tzw. długiego horyzontu. Ta sama wytrwałość, która pozwala im rozwiązywać trudne problemy, daje im więcej czasu i więcej szans na zrobienie czegoś niepożądanego. Stare systemy bezpieczeństwa zadają jedno pytanie: czy to konkretne działanie jest dozwolone? OpenAI przekonuje teraz, że trzeba pytać o coś więcej - dokąd zmierza cała sekwencja działań.

OpenAI wstrzymało model, przebudowało zabezpieczenia, zamieniło te przypadki w nowe testy, douczyło model lepszego trzymania się instrukcji i dodało monitor śledzący całe trajektorie sesji, który może ją zamrozić i powiadomić użytkownika. Potem uruchomiło model ponownie pod ściślejszym nadzorem.

Reakcje były podzielone. Część środowiska AI safety pochwaliła OpenAI za to, że wstrzymało wartościowy system i opublikowało szczegóły. Analityk polityczny Nathan Calvin przyznał, że dobrze się stało, ale uznał spokojny ton całego komunikatu za nieadekwatny - model zdążył przecież opublikować poufny kod na zewnątrz.

// czytaj dalejSkompresowany model 4-bitowy, który bije swój oryginał na pełnej precyzjiNewsyOpenAI wstrzymało część treningu AI z powodu zagrożeń dla cyberbezpieczeństwaNewsyNvidia udostępnia model AI dla robotaksówek, który tłumaczy swoje decyzjeNewsy