Algoritmo penitenciario de inteligencia artificial de Ontario: por qué SAFER se dirige a los reclusos negros

4

Las cárceles de Ontario están utilizando un programa informático para decidir quién va a máxima seguridad. Ese programa, SAFER, está poniendo a los reclusos negros en condiciones más duras a precios que no tienen nada que ver con su comportamiento real. Lo está haciendo de manera desproporcionada.

Una investigación de The Breach y una nueva demanda colectiva exponen los mecanismos de este sesgo. Los hallazgos son condenatorios. La provincia utiliza datos históricos para predecir el riesgo. Esos datos ya están sesgados. El algoritmo amplifica el sesgo.

Cómo funciona el algoritmo SAFER

La herramienta en cuestión es la Evaluación de Seguridad para Evaluar Riesgos, o SAFER. Las cárceles de Ontario lo utilizan desde 2021. Asigna una puntuación de riesgo a cada recluso. La puntuación dicta el nivel de seguridad. Alto riesgo equivale a máxima seguridad. Bajo riesgo significa vivienda menos restrictiva.

Pero ¿cómo calcula el riesgo? Analiza los registros de arresto y el historial disciplinario. No mira la culpa. Analiza interacciones pasadas con la policía. Esas interacciones no son aleatorias. Reflejan racismo sistémico.

El periodista Desmond Cole examinó el resultado de la herramienta. Profundizó en datos del gobierno. Encontró una marcada brecha racial. Los negros representan alrededor del cinco por ciento de la población de Ontario. Sin embargo, representaron casi el veintisiete por ciento de los prisioneros de máxima seguridad entre 2022 y 5. Eso no es un error de redondeo. Ese es un patrón.

Los blancos estaban subrepresentados en esa categoría de máxima seguridad. Significativamente. Los datos muestran que los reclusos negros son señalados como peligrosos con más frecuencia que los reclusos blancos con perfiles similares. ¿Por qué? Porque sus historias contienen más contactos policiales. Más cargos. Más arrestos. Incluso cuando es inocente. La herramienta trata los registros de arrestos como evidencia de comportamiento futuro. Confunde contacto con delincuencia con criminalidad.

Por qué Ontario ignoró a los prisioneros negros

La demanda colectiva, presentada por el bufete de abogados Koskie Mizzly, afirma que la provincia sabía que esto sucedería. Tenían los datos. Vieron la disparidad. ¿Actuaron? No.

Los documentos de capacitación internos del ministerio cuentan una historia diferente a las declaraciones públicas. Los documentos admiten que evaluaciones como SAFER “probablemente contribuirían a la sobrerrepresentación” de los pueblos indígenas y racializados. Sabían que la herramienta estaba sesgada.

Entonces, ¿por qué no solucionarlo para los reclusos negros?

Lo arreglaron para los prisioneros indígenas. La provincia adoptó medidas de mitigación específicas para las poblaciones indígenas. Crearon salvaguardias. Reconocieron la historia única del colonialismo y su impacto en el sistema de justicia. Pero no extendieron protecciones similares a los prisioneros negros. Dibujaron una línea. El prejuicio indígena tiene una solución. Se ignoró el prejuicio negro.

Esta mitigación selectiva sugiere una priorización de la óptica sobre la equidad. Permite que el sistema afirme que está abordando la disparidad mientras deja que la minoría no indígena más grande sufra las consecuencias.

¿Quién diseñó esto y quién está mirando?

Grant Duwe es el investigador al que se le atribuye el diseño de SAFER. El Ministerio del Procurador General supervisa su uso. A ambos se les pidió comentarios. Ambos guardaron silencio. The Breach señaló que ninguno respondió a las solicitudes sobre la metodología o la precisión del programa.

Este silencio es revelador. Cuando una herramienta afecta vidas y libertades, y cuando esa herramienta muestra un claro sesgo racial, la transparencia es obligatoria. La negativa a dar explicaciones plantea dudas sobre la validez de las propias puntuaciones de riesgo. Si no puede justificar los insumos, no puede confiar en los resultados.

El Defensor del Pueblo de Ontario está observando ahora. El informe del Defensor del Pueblo, citado en la investigación, señala que ha recibido quejas sobre el impacto de SAFER. Específicamente, quejas sobre el efecto desproporcionado sobre los presos negros e indígenas. Actualmente se está llevando a cabo una revisión ministerial oficial del programa.

¿Existe alguna alternativa?

Algunos podrían argumentar que la evaluación de riesgos es necesaria. Las cárceles deben gestionar la seguridad. Deben predecir la violencia. Pero confiar en los datos históricos de arrestos es un atajo perezoso. Subcontrata el juicio moral al código.

El sistema actual supone que el comportamiento policial pasado es un indicador válido de peligros futuros. Ignora la realidad de que las comunidades marginadas están sometidas a una vigilancia más estricta. Los penaliza por los pecados de un sistema de justicia defectuoso.

  • “Evaluaciones como SAFER probablemente contribuirían a una representación excesiva” – Documentos internos del Ministerio

La demanda tiene como objetivo responsabilizar a la provincia. Busca exponer la negligencia de ignorar las disparidades conocidas. La revisión en curso puede cambiar la forma en que se utiliza la herramienta. Puede modificar los pesos. Puede agregar nuevos factores.

Pero cambiar una fórmula no soluciona la causa raíz. La causa fundamental es el propio sistema de justicia. Son las prácticas policiales las que generan los datos en primer lugar. Puedes ajustar el algoritmo todo lo que quieras. Si los datos siguen envenenados por el sesgo, el resultado siempre estará sesgado.

Nos queda una pregunta que tiene

Попередня статтяPor qué Common Sense Media dice que Google necesita el modo AI o algo así