Brytyjska policja zbudowała maszynę do przewidywania przestępstw. Część wyników okazała się niewiarygodna

👁 133 przeczytań

Policja regionu Avon i Somerset wspólnie z władzami miasta Bristol zbudowała rozbudowany system predykcyjny obejmujący co najmniej 23 modele uczenia maszynowego, a część z nich po cichu wycofano, gdy urzędnicy uznali, że nie można już ufać ich wynikom. Pokazuje to dochodzenie WIRED prowadzone wspólnie z Liberty Investigates, Bristol Cable i Lighthouse Reports, oparte na setkach stron dokumentów uzyskanych z wniosków o dostęp do informacji publicznej.

Centralnym elementem programu jest uruchomiona w 2016 roku Think Family Database. Przechowuje ona dane blisko pół miliona mieszkańców Bristolu, w tym raporty wywiadu policyjnego, informacje o statusie mieszkaniowym, dokumentację dotyczącą zdrowia psychicznego, ciąż nastolatek, udziału w kursach dla rodziców czy darmowych posiłków szkolnych. Na podstawie tych danych zbudowano modele przypisujące oceny ryzyka tysiącom dorosłych i dzieci. Jeden z policyjnych analityków danych opisał to podejście tak:

„W zasadzie wrzucam wszystkie te dane do wielkiego wiadra i mieszam łopatką do analizy danych, a na wyjściu wychodzi nam śliczny wynik ryzyka dla każdego.”

Wśród co najmniej 23 modeli znalazły się algorytmy szacujące ryzyko, że dana osoba popełni włamanie, nie stawi się w sądzie, zaginie albo padnie ofiarą przemocy domowej. Jeden z wyższych funkcjonariuszy mówił o tworzeniu „tabeli ligowej” najgroźniejszych przestępców regionu - to nawiązanie do aplikacji Offender Management App, zaprojektowanej do przechowywania danych około 300 tysięcy osób.

Brak przejrzystości i porzucone modele

Mieszkańcy przez lata nie wiedzieli o istnieniu tych narzędzi. John Pegram, lider lokalnej grupy ds. rozliczalności policji w Bristolu, usłyszał o Offender Management App dopiero w 2023 roku, długo po jej powstaniu. Podejrzewał, że sam może na niej figurować. Gdy na początku 2024 roku złożył wniosek o ujawnienie sposobu wykorzystania jego danych, policja odmówiła odpowiedzi. Dopiero po zatrudnieniu prawników potwierdziła, że figuruje on w aplikacji, ale nie podała szczegółów. Pegram nie wie, czy został oceniony przez algorytm, jaki to wynik ani jak może on wpływać na jego kontakty z władzami.

Dochodzenie ujawnia, że co najmniej dwa modele oceny ryzyka po cichu porzucono, gdy pracownicy rady miasta uznali, że nie mogą im już ufać. Wcześniej niepublikowane dokumenty pokazują, że rządowi inspektorzy i niezależni recenzenci wskazywali na uderzający brak przejrzystości części programu i ostrzegali, że systemy mogą podkopać zaufanie publiczne. Przekazane dziennikarzom dane policji - ponad 36 tysięcy wyników wydajności modeli - w niektórych przypadkach świadczą o „naprawdę słabym” działaniu.

To kolejny przykład tego, jak instytucje publiczne wdrażają algorytmiczne szacowanie ryzyka, zanim zdołają wykazać, że ich wyniki są wiarygodne i zrozumiałe dla ludzi, których dotyczą.

// czytaj dalejPrezentacja z AI: trzy drogi i to, czego nie warto oddawać maszynieArtykułyKiedy maszyna ma rację, a ja nieMagazynKto zapłaci za prąd dla maszyn? Rachunek za AI trafia do twojego licznikaPremium