De gevangenissen van Ontario gebruiken een computerprogramma om te beslissen wie naar de maximale beveiliging gaat. Dat programma, SAFER, plaatst zwarte gevangenen in zwaardere omstandigheden tegen tarieven die niets te maken hebben met hun daadwerkelijke gedrag. Dit gebeurt op onevenredige wijze.
Een onderzoek door The Breach en een nieuwe class action-rechtszaak leggen de mechanismen van deze vooringenomenheid bloot. De bevindingen zijn vernietigend. De provincie gebruikt historische gegevens om risico’s te voorspellen. Die gegevens zijn al vertekend. Het algoritme versterkt de scheefheid.
Hoe het SAFER-algoritme werkt
Het instrument in kwestie is de Security Assessment for Evaluating Risk, oftewel SAFER. De gevangenissen in Ontario gebruiken het sinds 2021. Het kent aan elke gevangene een risicoscore toe. De score bepaalt het beveiligingsniveau. Een hoog risico staat gelijk aan maximale veiligheid. Een laag risico betekent minder restrictieve huisvesting.
Maar hoe berekent het risico? Er wordt gekeken naar arrestatiegegevens en disciplinaire geschiedenis. Er wordt niet naar schuld gekeken. Er wordt gekeken naar eerdere interacties met de politie. Die interacties zijn niet willekeurig. Ze weerspiegelen systemisch racisme.
Journalist Desmond Cole onderzocht de resultaten van de tool. Hij verdiepte zich in overheidsgegevens. Hij ontdekte een grote raciale kloof. Zwarte mensen vormen ongeveer vijf procent van de bevolking van Ontario. Toch waren zij tussen 2022 en 2022 goed voor bijna zevenentwintig procent van de zwaarbeveiligde gevangenen. Dat is geen afrondingsfout. Dat is een patroon.
Blanke mensen waren ondervertegenwoordigd in die categorie met maximale veiligheid. Dat is aanzienlijk. Uit de gegevens blijkt dat zwarte gevangenen vaker als gevaarlijk worden gemarkeerd dan blanke gevangenen met vergelijkbare profielen. Waarom? Omdat hun geschiedenis meer politiecontacten bevat. Meer kosten. Nog meer arrestaties. Zelfs als het onschuldig is. De tool behandelt arrestatiegegevens als bewijs van toekomstig gedrag. Het verwart contact met misdaad met criminaliteit.
Waarom Ontario zwarte gevangenen negeerde
De class action-rechtszaak, aangespannen door advocatenkantoor Koskie Mizzly, beweert dat de provincie wist dat dit zou gebeuren. Ze hadden de gegevens. Ze zagen de ongelijkheid. Hebben ze gehandeld? Nee.
Interne trainingsdocumenten van het ministerie vertellen een ander verhaal dan openbare verklaringen. De documenten geven toe dat beoordelingen als SAFER “waarschijnlijk zouden bijdragen aan de oververtegenwoordiging” van inheemse en raciale mensen. Ze wisten dat de tool bevooroordeeld was.
Dus waarom zouden we het niet oplossen voor zwarte gevangenen?
Ze hebben het wel opgelost voor inheemse gevangenen. De provincie heeft specifieke verzachtende maatregelen voor de inheemse bevolking aangenomen. Ze creëerden waarborgen. Zij erkenden de unieke geschiedenis van het kolonialisme en de impact ervan op het rechtssysteem. Maar ze boden geen soortgelijke bescherming aan zwarte gevangenen. Ze trokken een lijn. Inheemse vooringenomenheid kreeg een oplossing. Zwarte vooroordelen werden genegeerd.
Deze selectieve mitigatie suggereert dat optica prioriteit krijgt boven aandelen. Het stelt het systeem in staat te beweren dat het de ongelijkheid aanpakt, terwijl de grootste niet-inheemse minderheid de gevolgen moet dragen.
Wie heeft dit ontworpen en wie kijkt?
Grant Duwe is de onderzoeker die SAFER heeft ontworpen. Het ministerie van de advocaat-generaal houdt toezicht op het gebruik ervan. Beiden werden om commentaar gevraagd. Beiden werden stil. The Breach merkte op dat geen van beide reageerde op verzoeken met betrekking tot de methodologie of nauwkeurigheid van het programma.
Deze stilte is veelzeggend. Wanneer een instrument levens en vrijheden beïnvloedt, en wanneer dat instrument duidelijke racistische vooroordelen vertoont, is transparantie verplicht. De weigering om uit te leggen roept vragen op over de geldigheid van de risicoscores zelf. Als je de input niet kunt rechtvaardigen, kun je de output ook niet vertrouwen.
De Ombudsman van Ontario kijkt nu mee. In het in het onderzoek aangehaalde rapport van de Ombudsman wordt opgemerkt dat er klachten zijn ontvangen over de impact van SAFER. In het bijzonder klachten over het onevenredige effect op zwarte en inheemse gevangenen. Momenteel wordt er door het ministerie een officiële evaluatie van het programma uitgevoerd.
Is er een alternatief?
Sommigen zouden kunnen beweren dat risicobeoordeling noodzakelijk is. Gevangenissen moeten de beveiliging beheren. Ze moeten geweld voorspellen. Maar vertrouwen op historische arrestatiegegevens is een luie sluiproute. Het besteedt moreel oordeel uit aan code.
Het huidige systeem gaat ervan uit dat politiegedrag uit het verleden een geldige indicatie is voor toekomstig gevaar. Het negeert de realiteit dat gemarginaliseerde gemeenschappen zwaarder worden gecontroleerd. Het straft hen voor de zonden van een gebrekkig rechtssysteem.
- “Beoordelingen als SAFER zouden waarschijnlijk bijdragen aan oververtegenwoordiging” – Interne ministeriedocumenten
De rechtszaak heeft tot doel de provincie ter verantwoording te roepen. Het probeert de nalatigheid van het negeren van bekende verschillen bloot te leggen. De lopende evaluatie kan de manier waarop het instrument wordt gebruikt veranderen. Het kan de gewichten aanpassen. Het kan nieuwe factoren toevoegen.
Maar het veranderen van een formule lost de oorzaak niet op. De grondoorzaak is het rechtssysteem zelf. Het zijn in de eerste plaats de politiepraktijken die de gegevens genereren. Je kunt het algoritme zoveel aanpassen als je wilt. Als de gegevens vergiftigd blijven door vooringenomenheid, zal de output altijd bevooroordeeld zijn.
We blijven met een vraag zitten
