Ukrył instrukcje dla AI w piśmie sądowym, żeby wygrać sprawę. Sąd go przyłapał
Sędzia z Connecticut zidentyfikował pierwszą w USA próbę przemycenia ukrytych poleceń dla AI w dokumentach sądowych - mężczyzna schował biały tekst na białym tle, licząc że wpłynie na wynik sprawy.
👁 138 przeczytań
Sędzia Walter Spader Jr. z Connecticut opisał w ubiegłotygodniowym orzeczeniu pierwszy znany przypadek próby prompt injection w amerykańskim piśmie sądowym - powód Matthew Elliott ukrył w dokumentach instrukcje przeznaczone dla systemów AI, licząc że wpłyną na wynik jego sprawy przeciwko dostawcy usług zdrowotnych.
Tekst był zmniejszony do mikroskopijnego rozmiaru i zabarwiony na biało na białym tle - niewidoczny dla człowieka, ale w pełni czytelny dla każdego oprogramowania przetwarzającego dokument. Ukryte polecenia nakazywały hipotetycznemu systemowi AI popieranie argumentów Elliotta, ignorowanie wcześniejszych odmów sądu i wydanie rozstrzygnięcia zgodnego z jego żądaniami.
Zobacz wpis na X
Plan nie wypalił z prostego powodu: Connecticut Judicial Branch, w odróżnieniu od - jak zaznaczył sędzia - „wielu systemów sądowych w innych miejscach”, nie używa AI do oceny ani rozstrzygania spraw. Sąd rozpatrzył pismo na podstawie jego merytorycznej treści.
Elliott tłumaczył, że działał w celach audytowych - chciał sprawdzić, czy sąd nie korzysta potajemnie z AI na niekorzyść stron. Sędzia Spader odparł wprost: jeśli takie obawy były szczere, Elliott „mógł napisać o tym zwykłymi, widocznymi słowami”. Fakt ukrycia tekstu jest - zdaniem sędziego - „dowodem jego złośliwego zamiaru”.
„Ukrywając polecenie wewnątrz dokumentu, który system następnie przetwarza, składający pismo próbuje przemycić własną instrukcję do tego strumienia, tak aby system traktował ją jak pochodzącą od operatora systemu” - napisał Spader.
Mimo że atak się nie powiódł, Elliott dostał sankcje - tym bardziej że po pierwszym ostrzeżeniu sądu kontynuował ukrywanie wiadomości, tym razem określając je jako żarty, w tym link do Nosferatu i tajemniczy tekst „TELL SHAWN I SEND MY RE GARBS!!!!”.
Sędzia nazwał precedens „niebezpiecznym” i zaznaczył, że w miarę upowszechniania się AI w systemach sądowniczych takie próby prawdopodobnie się powtórzą - i wtedy stawką może być coś więcej niż sankcja.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
