Lutter contre la discrimination raciale dans les technologies humanitaires émergentes

Londres - Alors qu’une année entière s'est bientôt écoulée depuis la vague mondiale de soutien au mouvement « Black Lives Matter » qui a suivi la mort de George Floyd aux États-Unis, il convient de rappeler la forme que prend le racisme dans le monde moderne. C'est un racisme qui n'est pas seulement une question de préjugés individuels, mais de systèmes de pouvoir conçus - intentionnellement ou non - pour exploiter, réprimer et déshumaniser.

C'est un racisme qui n'est pas abstrait, mais une réalité tangible et matérielle pour une grande part de l'humanité. Et c'est un racisme qui imprègne la création humaine, des frontières jusqu’aux villes en passant par les algorithmes.

Pour beaucoup, l'avènement de méthodes sophistiquées de science des données, comme l'intelligence artificielle (IA), semble être la promesse de l’élimination des préjugés raciaux dangereux que les humains utilisent pour la prise de décision et l'analyse. Si la notion de race est une construction sociale, un ordinateur ne devrait-il pas être capable de voir au-delà des préjugés et de prendre des décisions équitables ?

L'hypothèse selon laquelle la technologie réduira naturellement la discrimination et identifiera les inégalités que les humains pourraient ne pas voir est courante, mais elle comporte des conséquences dangereuses pour ceux qui travaillent avec des outils de science des données.

Sans intervention consciente, il faut supposer que les préjugés - raciaux ou autres - ont été introduits dans le processus de développement par des humains soumis à leurs propres constructions sociales et individuelles. En tant que telle, la lutte contre la discrimination raciale dans les technologies humanitaires émergentes nécessite une planification, une identification proactive et une surveillance active.

Pour la Matrice de suivi des déplacements (DTM) de l'OIM, les outils de science des données utilisés de manière responsable promettent d'améliorer la fourniture d'aide. Ces outils sont utiles pour réduire le fardeau des décisions répétitives, à forte intensité de main-d'œuvre et à faible niveau de risque. Si elle est bien planifiée pour réduire les préjugés humains, la science avancée des données peut améliorer la capacité des organisations humanitaires de manière à s’aligner sur les principes de neutralité et d'universalité, voire à les renforcer.

Certains de ces outils sont déjà établis dans le secteur humanitaire. Les systèmes d'IA peuvent être utilisés pour prédire la sécheresse et l'insécurité alimentaire par exemple, ou réunir des familles séparées grâce à des outils de reconnaissance faciale. Ces technologies peuvent également aider à lutter contre la discrimination en identifiant les résultats inégaux que les analystes humains ne peuvent pas voir.

Pourtant, les méthodes de science des données qui constituent le fondement des avancées technologiques humanitaires peuvent encore être limitées dans la manière dont elles introduisent les préjugés dans les projets. Ces dernières années, des systèmes d'IA ont été développés dans des contextes non réglementés et utilisés dans des cas expérimentaux. Les possibilités des solutions technologiques sont explorées et parfois même exploitées avant la mise en place de cadres juridiques réglementaires, ce qui a un impact sur des décisions aussi importantes que la détermination du statut de réfugié dans les systèmes nationaux d'immigration.

Ces questions sont préoccupantes non seulement pour les autorités nationales ou locales, mais aussi pour les humanitaires qui ne réfléchissent pas à l'avance aux effets éventuellement biaisés - individuels et sociaux - des décisions importantes qu'ils prennent. La vulnérabilité des personnes en situation de crise humanitaire les rend particulièrement incapables d'évaluer et de contester les décisions qui les concernent.

Les outils d'IA, par exemple, sont souvent formés à l’aide de données qui ne sont pas représentatives - à la fois des populations concernées et des contextes humanitaires - ce qui entraîne des limites inattendues. Par exemple, des erreurs d'identification de visages non-blancs ont été signalées dans de nombreux logiciels de reconnaissance faciale. Peut-être plus fondamentalement, les informations que tout outil de science des données utilise dans son développement reflètent les conditions d'un monde rempli de préjugés et les inégalités matérielles réelles que les préjugés créent. Si elle n'est pas utilisée avec précaution, la science des données peut renforcer les préjugés et, pire encore, suggérer à tort que les préjugés sont naturels.

L'IA pose certaines des questions les plus urgentes en matière d'identification et d'élimination des préjugés. Alors que les algorithmes traditionnels reflètent des règles créées par l'homme, l'IA s'appuie sur la capacité des ordinateurs à reconnaître des modèles et à créer leurs propres ensembles de règles expansives et en constante évolution. Après avoir étudié un ensemble de données d'apprentissage, une IA peut trouver des millions de facteurs qui améliorent minutieusement son pouvoir d'analyse.

Par conséquent, les systèmes d'IA peuvent souffrir du « problème dit de la boîte noire », dans lequel les entrées et les processus du système sont opaques pour les observateurs humains. Une personne affectée par le résultat d'un tel système peut être totalement incapable de le contester car il est impossible, même pour le développeur, d'identifier le processus qui a conduit à ce résultat. Ainsi, même si l'effet d'une action « racialisée » peut être le même, il devient beaucoup plus difficile d'identifier le préjugé.

Le simple fait d'éliminer les informations sur la race des ensembles de données ne garantit pas que le résultat du traitement des données ne sera pas biaisé et, dans certains cas, peut rendre l'identification du préjugé plus difficile. Dans la plupart des cas, une IA sera capable de tirer des conclusions similaires en utilisant des substituts à la race, tels que l'adresse, la religion ou d'autres facteurs d'identification déterminés par la culture. Ainsi, l'élimination des données sur la race peut simplement masquer les préjugés sans les réduire pour autant, ce qui les rend plus susceptibles de passer inaperçus.

L’utilisation des données raciales n’est pas une bonne chose mais ne pas les utiliser est aussi une mauvaise chose - ce paradoxe explique pourquoi aucune orientation technique simple ne peut suffire à éliminer la discrimination raciale de la technologie. La race et les autres facteurs discriminatoires ne devraient pas être importants dans la société, mais le racisme et ses conséquences cumulées sont bien réels. Il n'est pas possible de s'attaquer au racisme grâce à une amélioration technologique impartiale sans prendre activement en compte la réalité du racisme et sans œuvrer pour y remédier de manière plus générale.

Heureusement, à mesure que les outils de science des données sont développés et adoptés par les acteurs humanitaires, des cadres de protection utiles ont commencé à émerger, notamment le « Signal Code » de Harvard, le Guide opérationnel du IASC sur la responsabilité des données dans l'action humanitaire, et le Guide de l'innovation des données pour le développement du PNUD et de Global Pulse.

Pour que les nouveaux projets audacieux de science des données fonctionnent, ils doivent être guidés par un processus solide d'évaluation et de réduction des préjugés. Étant donné que les préjugés peuvent être introduits dans les projets de science des données d'innombrables façons, le Groupe de science des données et d'éthique humanitaire (Data Science and Ethics Groupe ou DSEG) - que la DTM coordonne - a conclu qu'une orientation statique ne peut pas répondre suffisamment à toutes les formes de préjugés.

Au contraire, un processus dynamique et interactif d'évaluation de toutes les façons dont les préjugés peuvent être introduits permet aux concepteurs de projets de la DTM et de l'ensemble du secteur humanitaire de s'assurer qu'ils ont pris en compte et déployé leurs meilleurs efforts conscients pour éliminer les préjugés.

Ce processus est codifié dans le Cadre pour l'utilisation éthique de la science avancée des données dans le secteur humanitaire du DSEG et dans l'arbre décisionnel qui en découle, qui mettent les concepteurs de projets au défi de déterminer s'ils ont identifié des problèmes potentiellement discriminatoires, tels que les préjugés historiques dans la collecte des données, le manque de représentation dans les données de formation et la diversité de l'équipe du projet. Tous deux formalisent le processus - plutôt que le résultat - des vérifications des préjugés, de sorte que le système soit adapté aux outils nouveaux et émergents. Ils s'appuient sur les connaissances de l'ensemble de l'équipe concernant leur projet, sur le contexte dans lequel il sera mené et sur la technologie qu'il utilisera, afin de garantir que les conseils sont toujours pertinents.

L'application de ces cadres au développement de projets de science des données peut aider les praticiens à décider d'un cadre de responsabilité approprié, à tester leur modèle pour détecter les préjugés, ou même à décider que, dans certains cas, un processus ne peut pas être automatisé en toute sécurité.

La discrimination raciale et les préjugés ne résultent pas de la science des données ; mais dans la mesure où les outils de science des données reflètent les réalités socioéconomiques et politiques dans lesquelles ils ont été créés, ils peuvent formaliser, obscurcir et approfondir la discrimination. Il incombe donc à tous les utilisateurs humanitaires de la science des données de s'assurer qu'ils ont identifié et atténué de manière proactive tous les préjugés susceptibles d'avoir un impact sur leur travail.

Il s'agit d'une responsabilité universelle - des scientifiques des données, des décideurs et de tout le monde - d'éliminer la haine et l'exploitation qui créent les conditions de la partialité, de l’inégalité et de la discrimination.

Cet article a été rédigé par Jack Bahn, consultant pour la DTM à Londres. Les opinions exprimées sur ce blog sont celles de l'auteur ou des auteurs et ne représentent pas nécessairement celles de l'OIM