Algorithme d’IA dans les prisons de l’Ontario : pourquoi SAFER cible les détenus noirs

7

Les prisons de l’Ontario utilisent un programme informatique pour décider qui sera placé en sécurité maximale. Ce programme, SAFER, place les détenus noirs dans des conditions plus dures à des taux qui n’ont rien à voir avec leur comportement réel. Il le fait de manière disproportionnée.

Une enquête menée par The Breach et un nouveau recours collectif exposent les mécanismes de ce biais. Les conclusions sont accablantes. La province utilise des données historiques pour prédire les risques. Ces données sont déjà faussées. L’algorithme amplifie le biais.

Comment fonctionne l’algorithme SAFER

L’outil en question est le Security Assessment for Evaluating Risk, ou SAFER. Les prisons de l’Ontario l’utilisent depuis 2021. Il attribue un score de risque à chaque détenu. Le score dicte le niveau de sécurité. Un risque élevé équivaut à une sécurité maximale. Un faible risque signifie un logement moins restrictif.

Mais comment calcule-t-il le risque ? Il examine les dossiers d’arrestation et les antécédents disciplinaires. Il ne s’agit pas de culpabilité. Il examine les interactions passées avec la police. Ces interactions ne sont pas aléatoires. Ils reflètent un racisme systémique.

Le journaliste Desmond Cole a examiné les résultats de l’outil. Il a fouillé dans les données du gouvernement. Il a découvert un profond fossé racial. Les Noirs représentent environ cinq pour cent de la population de l’Ontario. Pourtant, ils représentaient près de vingt-sept pour cent des détenus à sécurité maximale entre 2022 et 5. Ce n’est pas une erreur d’arrondi. C’est un modèle.

Les Blancs étaient sous-représentés dans cette catégorie à sécurité maximale. De manière significative. Les données montrent que les détenus noirs sont plus souvent signalés comme dangereux que les détenus blancs ayant des profils similaires. Pourquoi? Parce que leurs histoires contiennent davantage de contacts avec la police. Plus de frais. Plus d’arrestations. Même innocent. L’outil traite les dossiers d’arrestation comme preuve d’un comportement futur. Elle confond le contact avec le crime et la criminalité.

Pourquoi l’Ontario a ignoré les prisonniers noirs

Le recours collectif, déposé par le cabinet d’avocats Koskie Mizzly, affirme que la province savait que cela se produirait. Ils avaient les données. Ils ont vu la disparité. Ont-ils agi ? Non.

Les documents de formation internes du ministère racontent une histoire différente des déclarations publiques. Les documents admettent que des évaluations comme SAFER « contribueraient probablement à la surreprésentation » des personnes autochtones et racialisées. Ils savaient que l’outil était biaisé.

Alors pourquoi ne pas arranger cela pour les détenus noirs ?

Ils l’ont réparé pour les prisonniers autochtones. La province a adopté des mesures d’atténuation spécifiques pour les populations autochtones. Ils ont créé des garde-fous. Ils ont reconnu l’histoire unique du colonialisme et son impact sur le système judiciaire. Mais ils n’ont pas accordé de protections similaires aux prisonniers noirs. Ils ont tracé une ligne. Les préjugés autochtones ont été corrigés. Les préjugés noirs ont été ignorés.

Cette atténuation sélective suggère une priorité à l’optique plutôt qu’à l’équité. Cela permet au système de prétendre qu’il s’attaque aux disparités tout en laissant la plus grande minorité non autochtone en subir les conséquences.

Qui a conçu cela et qui regarde ?

Grant Duwe est le chercheur à qui on attribue la conception de SAFER. Le ministère du Solliciteur général supervise son utilisation. Tous deux ont été invités à commenter. Tous deux se turent. The Breach a noté qu’aucun des deux n’a répondu aux demandes concernant la méthodologie ou l’exactitude du programme.

Ce silence est révélateur. Lorsqu’un outil affecte des vies et des libertés, et lorsque cet outil révèle des préjugés raciaux évidents, la transparence est obligatoire. Le refus d’expliquer soulève des questions sur la validité des scores de risque eux-mêmes. Si vous ne pouvez pas justifier les apports, vous ne pouvez pas faire confiance aux résultats.

L’Ombudsman de l’Ontario surveille actuellement la situation. Le rapport du Médiateur, cité dans l’enquête, indique qu’il a reçu des plaintes concernant l’impact de SAFER. Plus précisément, les plaintes concernant l’effet disproportionné sur les prisonniers noirs et autochtones. Un examen officiel du programme par le ministère est actuellement en cours.

Existe-t-il une alternative ?

Certains diront peut-être qu’une évaluation des risques est nécessaire. Les prisons doivent gérer la sécurité. Ils doivent prédire la violence. Mais se fier aux données historiques sur les arrestations est un raccourci paresseux. Il sous-traite le jugement moral au code.

Le système actuel suppose que le comportement passé des policiers est un indicateur valable du danger futur. Cela ignore la réalité selon laquelle les communautés marginalisées font l’objet d’une surveillance plus stricte. Cela les pénalise pour les péchés d’un système judiciaire défectueux.

  • « Des évaluations comme SAFER contribueraient probablement à la surreprésentation » – Documents internes du ministère

Le procès vise à tenir la province responsable. Il cherche à dénoncer la négligence qui consiste à ignorer les disparités connues. La révision en cours pourrait modifier la façon dont l’outil est utilisé. Cela peut modifier les poids. Cela peut ajouter de nouveaux facteurs.

Mais changer une formule ne résout pas la cause profonde. La cause profonde est le système judiciaire lui-même. Ce sont les pratiques policières qui génèrent les données en premier lieu. Vous pouvez ajuster l’algorithme autant que vous le souhaitez. Si les données restent empoisonnées par des biais, la sortie sera toujours biaisée.

Nous nous retrouvons avec une question qui a

Попередня статтяPourquoi Common Sense Media dit que Google a besoin du mode IA ou autre