Algorytm AI więzienia w Ontario: dlaczego SAFER dyskryminuje czarnych więźniów

11

Więzienia w Ontario korzystają z programu komputerowego w celu określenia poziomu segregacji osadzonych. System ten, nazwany SAFER, wysyła nieproporcjonalnie dużą liczbę czarnych więźniów do stref o maksymalnym bezpieczeństwie. I robi to zupełnie bezpodstawnie, nie biorąc pod uwagę ich prawdziwego zachowania.

Dochodzenie przeprowadzone przez The Breach i nowy pozew zbiorowy ujawniają mechanizmy leżące u podstaw tej stronniczości. Ustalenia brzmią jak akt oskarżenia: prowincja wykorzystuje dane historyczne do przewidywania ryzyka. Dane te są już obciążone w jednym kierunku, a algorytm tylko zwiększa to zniekształcenie.

Jak działa algorytm SAFER

Narzędzie, o którym mowa, nazywa się Ocena bezpieczeństwa do oceny ryzyka lub BEZPIECZNIEJSZE. Od 2021 r. władze więzienne Ontario używają go do przypisywania każdemu osadzonym oceny ryzyka. To właśnie ten wskaźnik określa poziom bezpieczeństwa: wysokie ryzyko prowadzi do maksymalnego bezpieczeństwa, niskie ryzyko prowadzi do mniej rygorystycznych warunków przetrzymywania.

Ale jak dokładnie system oblicza ryzyko? Dokonuje przeglądu akt aresztowań i akt dyscyplinarnych. Ona nie patrzy na poczucie winy. Uwzględnia jedynie przeszłe kontakty z policją. Ale te kontakty nie są przypadkowe – odzwierciedlają systemowy rasizm.

Dziennikarz Desmond Cole przeanalizował wyniki narzędzia. Po przeanalizowaniu danych rządowych odkrył wyraźną różnicę między rasami. Czarni stanowią około pięciu procent populacji Ontario, ale w latach 2022–2025 będą stanowić prawie dwadzieścia siedem procent więźniów o zaostrzonym rygorze. Nie jest to błąd zaokrągleń. Jest to stabilny wzór.

W kategorii maksymalnego bezpieczeństwa biali więźniowie byli znacząco niedostatecznie reprezentowani. Dane pokazują, że czarni więźniowie częściej są określani jako niebezpieczni niż biali więźniowie o podobnym profilu. Dlaczego? Ponieważ mają w przeszłości częstszy kontakt z policją. Więcej oskarżeń. Więcej aresztowań. Nawet jeśli są niewinni. Narzędzie traktuje zapisy aresztowań jako dowód przyszłego zachowania. Myli kontakt z organami ścigania z samymi skłonnościami przestępczymi.

Dlaczego Ontario ignoruje los Czarnych

W pozwie zbiorowym wniesionym przez kancelarię prawniczą Koskie Mizzly zarzuca się, że prowincja z góry znała konsekwencje. Mieli dane. Widzieli brak równowagi. Czy zadziałali? Nie.

Wewnętrzne dokumenty materiałów szkoleniowych ministerstwa mówią co innego niż publiczne wypowiedzi. Przyznają, że oceny takie jak SAFER „prawdopodobnie doprowadzą do nadreprezentacji” ludności tubylczej i osób kolorowych. Wiedzieli, że narzędzie jest stronnicze.

Dlaczego więc nie naprawić tego dla czarnych więźniów?

Zrobili to dla rdzennej ludności. Prowincja wdrożyła specjalne środki łagodzące dla Aborygenów. Stworzono zabezpieczenia. Poznano wyjątkową historię kolonializmu i jego wpływ na wymiar sprawiedliwości. Jednak podobna ochrona nie została rozszerzona na czarnych więźniów. Wytyczono granicę. Skorygowano uprzedzenia wobec rdzennej ludności, a uprzedzenia wobec Czarnych zignorowano.

To selektywne łagodzenie pokazuje pierwszeństwo wyglądu nad uczciwością. Pozwala to systemowi twierdzić, że rozwiązuje problem nierówności, pozostawiając konsekwencje największej nierdzennej grupy etnicznej.

Kto go opracował i kto go monitoruje?

Grant Douhet jest badaczem, któremu przypisuje się opracowanie SAFER. Ministerstwo Prokuratora Generalnego (Solicitor General) kontroluje wykorzystanie tego narzędzia. Obydwoje zostali poproszeni o komentarz. Oboje milczeli. The Breach zauważa, że ​​żaden z nich nie odpowiedział na pytania dotyczące metodologii i dokładności programu.

Ta cisza mówi. Kiedy narzędzie ma wpływ na życie i wolności oraz gdy wykazuje wyraźne uprzedzenia rasowe, przejrzystość jest koniecznością. Brak wyjaśnienia działań rodzi pytania o ważność samych ocen ryzyka. Jeśli nie możesz uzasadnić danych wejściowych, nie możesz ufać wynikom.

Rzecznik Praw Obywatelskich Ontario monitoruje obecnie sytuację. Z raportu Komisarza cytowanego w dochodzeniu wynika, że ​​otrzymywał on skargi dotyczące wpływu SAFER. W szczególności skargi dotyczące nieproporcjonalnego wpływu na więźniów czarnoskórych i rdzennych. Obecnie trwa formalny przegląd programu przez ministerstwo.

Czy istnieje alternatywa?

Niektórzy mogą twierdzić, że konieczna jest ocena ryzyka. Więzienia muszą zapewniać bezpieczeństwo. Muszą przewidzieć przemoc. Jednak opieranie się na historycznych danych dotyczących aresztowań jest leniwym, nadmiernym uproszczeniem. To deleguje ocenę moralną do kodu.

Obecny system zakłada, że ​​przeszłe zachowanie policji jest akceptowalnym miernikiem przyszłego zagrożenia. Ignoruje rzeczywistość, w której społeczności marginalizowane są patrolowane w znacznie większym stopniu. System karze ich za grzechy wadliwego (wadliwego) systemu sprawiedliwości.

„Oceny takie jak SAFER prawdopodobnie doprowadzą do nadreprezentacji [ludności tubylczej i osób kolorowych]” – dokumenty Departamentu Wewnętrznego

Celem pozwu jest pociągnięcie prowincji do odpowiedzialności. Ma na celu ukazanie zaniedbań związanych z ignorowaniem znanych zakłóceń równowagi. Obecna recenzja może zmienić sposób korzystania z tego narzędzia. Wagi czynników można regulować. Mogą zostać dodane nowe opcje.

Zmiana formuły nie rozwiązuje jednak źródła problemu. Źródłem problemu jest sam system wymiaru sprawiedliwości. To przede wszystkim praktyki policyjne generują dane. Możesz dowolnie zmieniać algorytm. Jeśli dane pozostaną zanieczyszczone stronniczością, dane wyjściowe zawsze będą stronnicze.

Pozostaje nam pytanie, które…

Попередня статтяDlaczego Common Sense Media prosi Google o przyjęcie lub porzucenie trybu AI