1 de agosto de 2020

La inteligencia artificial se asoma a la justicia pero despierta dudas éticas

Prometea es un software para resolver pleitos. España ya ha mostrado interés por él, pero el uso de inteligencia artificial en la justicia ofrece dudas éticas

Autor: Mauro Berchi –
Acceder aquí a la nota original publicada en El País

Una mujer se persona en la mesa de entradas de un juzgado de Buenos Aires, Argentina. Son las 10 de la mañana de un lunes frío de agosto de 2018. Llega acompañada por sus tres hijos, que se sientan en el suelo a jugar, mientras su madre conversa con el empleado. “Vengo a presentar un amparo para cobrar el subsidio por situación de calle”, desliza la mujer con algo de vergüenza. Después de unas pocas preguntas, cuyas respuestas van a parar a un formulario de papel, el empleado le solicita su carnet de identidad y se adentra en la oficina. La señora decide sentarse a esperar. Está cansada y sabe que pasarán meses antes de que esta pequeña bola de nieve que acaba de empujar se convierta en la posibilidad de dormir bajo techo.

Lo que desconoce es que, si su expediente no se resuelve en primera y segunda instancia, intervendrá, como último recurso, el Ministerio Público Fiscal. Y allí, a diferencia de las instancias anteriores, las causas se resuelven en minutos. ¿Cómo es posible? Porque trabajan con un sistema informático que utiliza inteligencia artificial (IA). Su nombre es Prometea.

Cuando un oficial de justicia del mencionado ministerio tome en sus manos el expediente, solo deberá responder, hablando o escribiendo, las preguntas de un chat como WhatsApp. Y, en exactamente cuatro minutos, habrá obtenido el dictamen, además de la estadística relevante para el caso y links de interés para ilustrar la decisión. Luego, los juristas del organismo solo revisan el procedimiento, imprimen y firman. Habrán completado en media hora un trabajo que suele llevar meses.

Un modelo que interesa en España

En octubre de 2019, autoridades del área de modernización del Ministerio de Justicia español visitaron las oficinas del Ministerio Público Fiscal de la Ciudad de Buenos Aires. El objetivo era conocer Prometea, el sistema informático que se utiliza en la capital argentina para resolver casos de diversa materia pero sencilla resolución: infracciones menores, accidentes de tráfico o políticas sociales, entre otros.

Sofía Duarte Domínguez, directora general del órgano antes llamado Modernización de la Justicia de España —en enero de 2020 pasó a ser Transformación Digital de la Administración de Justicia—, hizo declaraciones al respecto en la prensa argentina: “Nos hemos estudiado todo acerca de Prometea, sabemos que es un sistema fabuloso y queremos ver si podemos llevarlo a España. Incluso el [entonces] secretario de Estado de Justicia, Manuel Dolz, nos dio carta blanca para avanzar con esto que es, sin dudas, el futuro de la justicia”.

El tema no debería tomarnos por sorpresa. Unos días antes de la visita de la comitiva española al organismo porteño, el profesor de Derecho y Ciencia Política de la Universitat Oberta de Barcelona (UOC) David Martínez explicaba, en un artículo publicado por La Vanguardia, que la IA bien podría ser utilizada en España en casos “de fácil respuesta jurídica”, con lo que se lograría descongestionar el tráfico de expedientes judiciales. A pesar de que Duarte Domínguez subraye que la digitalización de todo el Ministerio resulta suelo fértil para automatizar la justicia, ella misma advierte de que uno de los principales obstáculos al proceso reside en la resistencia de los trabajadores judiciales, que creen que la informática les quitará el empleo.

A favor de automatizar la justicia

Las observaciones de Martínez están en consonancia con lo que piensan algunos expertos argentinos, comprometidos con la tarea de hacer una justicia inteligente. Es el caso del juez de la Corte Suprema de Justicia de la provincia de Mendoza, Mario Adaro, que aplica Prometea diariamente y participó recientemente en la primera Cumbre Iberoamericana de Inteligencia Artificial, en la sede del MIT (Boston). “La IA tiene una capacidad de procesamiento de información en grandes volúmenes que acorta los plazos burocráticos en una medida nada desdeñable porque, habitualmente, a mayor cantidad de causas y pocos decisores, más tiempo por caso”, señala a EL PAÍS RETINA. “Utilizando procesos automáticos, el juez tiene mayor capacidad de análisis”.

El fiscal general adjunto de Buenos Aires, Juan G. Corvalán, creó Prometea tras haber detectado que, en la mitad de las causas en las que interviene el personal judicial, la mayor parte del tiempo se usa para constatar datos personales, información que se reitera, etcétera. Adaro lo ilustra con el ejemplo de causas tributarias, señalando que “son sentencias seriadas, de amplio volumen, donde las decisiones son agrupables en conjuntos claros y todo es bastante mecánico y predecible. Al utilizar IA para ese tipo de problemas, Prometea hace que la cantidad de errores en la carga de datos, tipeo y redundancia baje sensiblemente”, asegura el juez mendocino.

“La IA puede procesar información en grandes volúmenes, lo que acorta los plazos burocráticos”

El origen: Estados Unidos

Hay tres casos emblemáticos de aplicación de IA en la justicia, además de Prometea. El más famoso es el programa Compas (Correctional Offender Management Profiling for Alternative Sanctions), que se usa en varios Estados de Estados Unidos. Se trata de un software que se utiliza desde 1998 para analizar, según los antecedentes penales de un acusado, sus probabilidades de reincidir. El programa plantea un cuestionario al acusado. Una vez que este responde todas las preguntas, el sistema calcula el riesgo de reincidencia, por lo que el juez define, por ejemplo, si conviene o no otorgar la libertad condicional mientras se completa el proceso judicial.

Compas saltó a la fama con el caso Loomis, de 2013. Acusado de huir de la policía y usar un vehículo sin autorización de su dueño, a Eric Loomis le cayeron seis años de prisión y cinco de condicional porque Compas estimó un riesgo alto de reincidencia. Loomis recurrió, alegando que su defensa no podía rebatir los métodos de Compas porque el algoritmo no era público. La Corte Suprema del Estado de Wisconsin desestimó el recurso. Años más tarde, en 2018, se supo que el sistema analiza 137 aspectos de cada imputado. Pero, al contrastar el nivel de éxito entre las predicciones de Compas y las de juristas de carne y hueso, se constató que el nivel de acierto de la IA no es superior, o incluso, quedan en evidencia errores graves.

“Los promedios estadísticos dicen algo sobre los patrones de comportamiento común en un colectivo. No describen perfiles individuales y son incapaces de captar la singularidad del ser humano”, explica Lorena Jaume- Palasí, experta en ética y tecnología y fundadora de Algorithm Watch y The Ethical Tech Society. “Con ello podemos entender colectivos con una mirada un poco más arquitectónica, pero también incurrimos en el riesgo de meter a individuos en estándares en los que no cuadran”.

Para aclarar si es viable juzgar a alguien penalmente usando IA hay que comprender con qué criterios actúa el algoritmo (lo que reclamó la defensa de Loomis). Jaume-Palasí sostiene que, a fin de cuentas, el Derecho es un algoritmo que se aplica desde mucho antes de que existiera la informática. “[Con el caso Loomis] todos han puesto el ojo en el sistema informático y se escandalizaron por el racismo, pero Compas nos permitió enterarnos de los sesgos que tienen los jueces, porque el sistema lo crearon humanos que venían trabajando y decidiendo con esos sesgos que luego evidenció el programa”.

“Los promedios estadísticos ayudan a comprender colectivos, pero son incapaces de captar la singularidad del ser humano”

¿Es Prometea como Compas?

Además de su cargo en la Justicia, Juan G. Corvalán es director del Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires. En 2017, creó junto con sus colaboradores el software de Prometea.

Corvalán destaca, entre las cualidades del sistema, que “Prometea no utiliza técnicas de IA de caja negra, o lo que se conoce como deep learning; es decir, todo el proceso del algoritmo es abierto, auditable y trazable”. Compas, en cambio, aplica dos redes neuronales cuyo funcionamiento resulta una incógnita porque “fue desarrollado por una empresa privada que ostenta los derechos de propiedad intelectual del algoritmo”.

El software argentino, sostiene Corvalán, no hace sino reproducir el proceder de la magistratura del país. “Las predicciones de Prometea se basan en el análisis del historial de lo que los jueces han decidido, son ellos quienes entrenan al sistema. Por ejemplo, en la Corte Constitucional de Colombia [país en el que también se aplica el programa] son los propios magistrados quienes llevan adelante el permanente ajuste de las predicciones de Prometea, con nuestra asistencia técnica, por supuesto”.

Bases de datos y sesgos

No hay IA que valga sin datos. Y al hablar de datos, aparece el fantasma de los sesgos, como el racismo del que se ha acusado a Compas. Los números construyen un discurso de objetividad que impide, a veces, cuestionar decisiones. “Los algoritmos no son más que opiniones encerradas en matemáticas”, dejó escrito Cathy O’Neil en su célebre Armas de destrucción matemática.

“Lo que indudablemente permiten los algoritmos es estandarizar las decisiones. Es decir, uniformar criterios para que no se brinden dos respuestas diferentes ante el mismo problema”, opina Pablo Mlynkiewicz, licenciado en Estadística y exresponsable de la Dirección General de Ciencias de la Información de Buenos Aires. “Pero, claro, para que eso se traduzca en un avance real en la justicia, la base de datos debe poseer representación de todos los colectivos. Si no, habrá errores”.

Mlynkiewicz coincide, de este modo, con Jaume-Palasí y con Adaro al destacar un punto fuerte a favor de la automatización de procesos judiciales: evitan dar dos respuestas distintas ante un mismo problema. Es decir, se aporta consistencia argumental en los fallos. Aun siendo la más crítica con estos sistemas, la filósofa mallorquina admite que automatizar procesos judiciales basados en estadística puede ayudar a corregir errores que hoy la justicia se niega a aceptar. “Hace tiempo que sabemos que los jueces y el sistema judicial que conocemos no son muy consistentes. Poder hacer trazabilidad y estadística de las decisiones judiciales gracias a la IA no está nada mal”, enfatiza.

Los jueces robots en China

En octubre de 2019 se presentó en Beijing el Tribunal de Internet, definido como un “centro de litigios en línea”. Según la información oficial, se trata de una plataforma en la que las partes cargan los datos del problema a resolver y la IA hace el resto: busca jurisprudencia, analiza la temática, contrasta pruebas y dicta sentencia.

El sistema no tiene grandes diferencias técnicas con el de Estonia, donde también se está apostando fuerte por la automatización de la justicia: no hay intervención humana en todo el proceso. Pero entre ambos países hay una gran distancia en estándares democráticos. En el pequeño país báltico, considerado el más avanzado del planeta en materia digital, quien dirige el proyecto es el joven Ott Velsberg, quien pretende que las demandas que se presenten ante el tribunal digital no superen los 7.000 euros como cantidad reclamada por daños.

Allí todo fluye, porque se trata de una sociedad con altos estándares en materia cívica. Pero al hablar del gigante asiático, las cosas cobran otro tenor. “El desarrollo de los jueces virtuales o cibernéticos en China ha seguido la misma línea que el Sistema de Crédito Social: de abajo hacia arriba”, explica Dante Avaro, especialista en el modelo de control gubernamental chino, en referencia al controvertido mecanismo de puntuación de los ciudadanos puesto en marcha por Beijing para determinar si son o no fiables. “Ambos comenzaron a principios del nuevo milenio. En el caso de la IA en la justicia, se experimentó en ciudades como Shandong, luego en Hengezhou, Beijing y Guangzhou. El objetivo fue aportar eficiencia a los procesos judiciales en temas de comercio electrónico, pagos virtuales, transacciones en la nube y disputas sobre propiedad intelectual”, ilustra.

El detalle es que, en manos de un Estado no democrático que pretende ordenar a la sociedad trabajando transversalmente un scoring que Avaro denomina “trazabilidad ciudadana”, la aplicación de IA en la justicia es peligrosa porque queda vinculada con el Sistema de Crédito Social y el sistema de reconocimiento facial Yitu Dragonfly Eye. “Se está construyendo un descomunal aparato de vigilancia estatal”, concluye Avaro