Lucha contra la discriminación racial en las tecnologías humanitarias emergentes

Londres – Tras casi un año del movimiento mundial en apoyo a “Black Lives Matter” (La vida de las personas negras cuenta) tras la muerte de George Floyd en los Estados Unidos, vale la pena recordar la forma y el lugar que el racismo tiene en el mundo actual. Se trata de un racismo que no está relacionado únicamente con cuestiones del prejuicio individual, sino que también se relaciona con sistemas de poder que han sido diseñados —deliberadamente o no —para explotar, suprimir y deshumanizar.

El racismo no es abstracto sino bien tangible, una realidad que se materializa y aplica a gran parte de la humanidad. Y que se infiltra en la creación humana, desde las fronteras, las a ciudades, pasando por la creación de los algoritmos.

Para muchos, el advenimiento de métodos científicos sobre datos de gran complejidad como la inteligencia artificial (IA) pareciera contener la promesa de quitar todo prejuicio racial dañino que los humanos ponen en sus análisis y en la toma de decisiones. Si la raza es una construcción social, ¿no podría entonces una computadora ver los prejuicios del pasado y tomar decisiones justas?

La asunción de que la tecnología reducirá naturalmente la discriminación e identificará las desigualdades que los humanos de lo contrario no percibirían, es bastante común y plantea consecuencias peligrosas para quienes trabajan con herramientas de la ciencia de datos.

Sin una intervención consciente se debe asumir que el prejuicio —racial o de otra especie —ha sido introducido por los humanos en el proceso de desarrollo con sujeción a sus propias construcciones individuales o sociales. Como tal, la lucha contra la discriminación racial en las tecnologías humanitarias emergentes requiere de un planeamiento y una identificación proactivas además de un monitoreo activo.

Para la Matriz de Seguimiento de Desplazamiento de la OIM (DTM, por su sigla en inglés) las herramientas de la ciencia de datos usadas de manera responsable son una promesa de mejoramiento de la provisión de asistencia. Estas herramientas son útiles para la reducción de la carga de decisiones repetitivas, intensivas en cuanto al trabajo, con bajos niveles de riesgo. Si son bien planificadas en cuanto a reducir los prejuicios humanos, la ciencia avanzada de datos puede expandir la capacidad de las organizaciones humanitarias en formas que lograrán alinear e incluso elevar los principios de neutralidad y universalidad.

Algunas de estas herramientas se encuentran ya en el sector humanitario. Los sistemas de IA pueden usarse para predecir la sequía y la inseguridad alimentaria, por ejemplo, o para reunir a las familias separadas usando herramientas de reconocimiento facial. Estas tecnologías pueden ayudar también a luchar contra la discriminación identificando resultados desiguales que los analistas humanos no pueden ver.

Pero aún así, los métodos científicos de compilación de datos que conforman la base de los avances tecnológicos humanitarios pueden ser limitados en cuanto al momento en que en el proyecto se tomar en cuenta el prejuicio. En años recientes, se han desarrollado sistemas de IA en contextos no regulados y se los ha usado en casos experimentales. Las posibilidades de soluciones tecnológicas son exploradas e incluso a veces explotadas antes de los marcos regulatorios legales, teniendo impacto en decisiones tan serias como la determinación del estatus de refugiado en los sistemas nacionales de inmigración.

Estas cuestiones son preocupantes no solamente para las autoridades locales o nacionales, sino también para los humanitarios que no pueden anticipar os efectos posiblemente sesgados —individuales y sociales —de las profundas decisiones que toman. La vulnerabilidad de las personas que experimentan las crisis humanitarias afecta de manera muy especial su capacidad de evaluar y apelar las decisiones que les conciernen.

Las herramientas de IA por ejemplo son a menudo probadas en datos no representativos – tanto de poblaciones de casos de usos como de contextos humanitarios – llevando a limitaciones inesperadas. Por ejemplo, la identificación errónea de rostros no caucásicos ha sido informada en varios softwares de IA para el reconocimiento facial. Quizás lo que es todavía más fundamental es que la información que cualquier herramienta científica de datos utiliza refleja las condiciones de las personas en un mundo lleno de prejuicios, además de las inequidades materiales reales que este mismo prejuicio ha creado. Si no se la usa con cuidado, la herramienta científica que arroja datos podría reforzar los prejuicios y lo que es aún peor, sugerir de manera incorrecta que los prejuicios son algo natural.

La IA plantea algunos de los desafíos más acuciantes en la identificación y la eliminación de los prejuicios. Allí en donde los algoritmos tradicionales reflejan reglas que han sido creadas por los humanos, la IA descansa sobre la capacidad de las computadoras para reconocer patrones y crear sus propios conjuntos de reglas expansivas y en constante cambio. Luego de estudiar un conjunto de datos de capacitación, una IA podría encontrar millones de factores que minuciosamente mejoran su poder analítico.

A raíz de todo esto, los sistemas de IA pueden sufrir el denominado problema de la “caja negra”, en donde los insumos y procesos del sistema son demasiado opacos para los observadores humanos. Una persona afectada por el producto de un sistema semejante puede quedar totalmente imposibilitada de apelar puesto que es imposible —incluso para el desarrollador —identificar el proceso que llevó a ese producto. De modo que, si bien el efecto de la acción racializada puede ser el mismo, se vuelve mucho más difícil identificar el prejuicio.

La acción de eliminar simplemente los datos sobre la raza de los conjuntos de datos no constituye una garantía de que el producto resultante del procesamiento de datos no estará sesgado, y en algunos casos, que la identificación del sesgo sea aún más complicada. Una IA en la mayor parte de los casos podrá llegar a conclusiones similares usando datos tipo para la raza, como el domicilio, la religión u otros factores de identificación culturalmente determinados. De modo que la eliminación de datos sobre la raza tal vez lo único que logre es oscurecer el sesgo sin reducirlo, haciendo simplemente que sea indetectable.

Usar datos sobre raza es malo y no usarlos también es malo —lo cual representa una paradoja que explica por qué una simple guía técnica no será suficiente para la eliminación de la discriminación racial en la tecnología. La raza y otros factores discriminatorios no deberían ser relevantes en la sociedad, pero cabe destacar que el racismo y sus consecuencias acumulativas son reales. El abordaje del racismo usando mejoras tecnológicas libres de prejuicio no es posible sin considerar activamente y sin trabajar para rediseñar más ampliamente la realidad del racismo.

Afortunadamente, puesto que las herramientas de la ciencia de datos son desarrolladas y adoptadas por los actores humanitarios, han comenzado a emerger marcos útiles de protección, entre ellos el Código de Señal de Harvard, la Guía Operativa sobre Responsabilidad en materia de Datos del IASC, y la Guía para la Innovación de Datos para el Desarrollo del PNUD y de Global Pulse.

Para trabajar con nuevos proyectos sobre la ciencia del manejo de los datos que sean audaces, los mismos deberán estar guiados por un proceso robusto de evaluación y minimización del prejuicio. Debido a que los prejuicios pueden ser introducidos en los proyectos de ciencia de datos de varias formas, el Grupo de Ciencia de Datos y Ética (DSEG) Humanitario —cuya coordinación está a cargo de la DTM —ha llegado a la conclusión de que una guía estática no puede abordar de manera suficiente todas las formas de sesgo.

En lugar de eso, un proceso interactivo y dinámico para la evaluación de todas las formas en las que el sesgo podría introducirse permite que los diseñadores del proyecto en la DTM y en todo el sector humanitario aseguren que han considerado y realizado todos sus mayores esfuerzos conscientes para la eliminación de los prejuicios.

Este proceso es codificado en el Marco para el uso ético de la ciencia avanzada de datos en el sector humanitario y en el Árbol para la toma de decisiones derivado del mismo, el cual desafía a los diseñadores del proyecto a que consideren si han identificado cuestiones potencialmente discriminatorias como por ejemplo el sesgo histórico en la recopilación de datos, la falta de representación en los datos de capacitaciones, y la diversidad del equipo de proyecto. Ambos formalizan el proceso —más que el resultado —de las verificaciones de sesgos, para determinar que el sistema sea adecuado para herramientas nuevas y emergentes. Se apoyan en el conocimiento que el equipo de proyecto en su totalidad tiene de su propio proyecto, el contexto en el cual el proyecto se implementará y la tecnología a ser utilizada para garantizar que la orientación es siempre relevante.

La aplicación de estos marcos al desarrollo de los proyectos de ciencia de datos puede ayudar a los profesionales a decidir respecto de un marco de responsabilidad adecuado, probar el modelo para verificar sesgos, o incluso decidir que, en ciertos casos, un proceso no puede automatizarse con total seguridad.

La discriminación racial y los prejuicios no derivan de la ciencia de datos; pero en la medida en que las herramientas de la ciencia de datos reflejan las realidades políticas y socioeconómicas en las cuales fueron creadas, pueden formalizar, oscurecer y profundizar la discriminación. De modo que es responsabilidad de todos los usuarios de la ciencia de datos humanitaria el aseguramiento de que han proactivamente identificado y mitigado todo tipo de sesgo que podría tener un impacto sobre su trabajo.

Para comenzar, es responsabilidad universal —de los científicos que manejan y recopilan los datos, de quienes toman decisiones y de otras personas —eliminar el odio y la explotación que crea las condiciones para que surjan los prejuicios, la desigualdad y la discriminación.

Este artículo fue escrito por Jack Bahn, consultor en la DTM Londres. Los puntos de vista expresados en este blog corresponden a su autor o autores y no necesariamente representan los puntos de vista de la OIM.