Ukrył instrukcje dla AI w piśmie sądowym, żeby wygrać sprawę. Sąd go przyłapał

👁 145 przeczytań

Sędzia Walter Spader Jr. z Connecticut opisał w ubiegłotygodniowym orzeczeniu pierwszy znany przypadek próby prompt injection w amerykańskim piśmie sądowym - powód Matthew Elliott ukrył w dokumentach instrukcje przeznaczone dla systemów AI, licząc że wpłyną na wynik jego sprawy przeciwko dostawcy usług zdrowotnych.

Tekst był zmniejszony do mikroskopijnego rozmiaru i zabarwiony na biało na białym tle - niewidoczny dla człowieka, ale w pełni czytelny dla każdego oprogramowania przetwarzającego dokument. Ukryte polecenia nakazywały hipotetycznemu systemowi AI popieranie argumentów Elliotta, ignorowanie wcześniejszych odmów sądu i wydanie rozstrzygnięcia zgodnego z jego żądaniami.

Plan nie wypalił z prostego powodu: Connecticut Judicial Branch, w odróżnieniu od - jak zaznaczył sędzia - „wielu systemów sądowych w innych miejscach”, nie używa AI do oceny ani rozstrzygania spraw. Sąd rozpatrzył pismo na podstawie jego merytorycznej treści.

Elliott tłumaczył, że działał w celach audytowych - chciał sprawdzić, czy sąd nie korzysta potajemnie z AI na niekorzyść stron. Sędzia Spader odparł wprost: jeśli takie obawy były szczere, Elliott „mógł napisać o tym zwykłymi, widocznymi słowami”. Fakt ukrycia tekstu jest - zdaniem sędziego - „dowodem jego złośliwego zamiaru”.

„Ukrywając polecenie wewnątrz dokumentu, który system następnie przetwarza, składający pismo próbuje przemycić własną instrukcję do tego strumienia, tak aby system traktował ją jak pochodzącą od operatora systemu” - napisał Spader.

Mimo że atak się nie powiódł, Elliott dostał sankcje - tym bardziej że po pierwszym ostrzeżeniu sądu kontynuował ukrywanie wiadomości, tym razem określając je jako żarty, w tym link do Nosferatu i tajemniczy tekst „TELL SHAWN I SEND MY RE GARBS!!!!”.

Sędzia nazwał precedens „niebezpiecznym” i zaznaczył, że w miarę upowszechniania się AI w systemach sądowniczych takie próby prawdopodobnie się powtórzą - i wtedy stawką może być coś więcej niż sankcja.

// czytaj dalejIntel wraca przez boczną furtkę. Crescent Island nie goni Nvidii na pokaz, tylko chce wygrać rachunek za inferencjęPremiumhultAI - instrukcjaArtykułyTesla ugodziła się z rodziną pieszej zabitej przez auto na Full Self-DrivingNewsy