Comment de nouveaux outils détectent et atténuent les biais dans les systèmes d’IA

La partialité dans l’IA est un défi majeur pour les technologies actuelles d’intelligence artificielle (IA). La technologie de preuve de concept développée dans le projet Horizon Europe BIAS s’attaque à ce problème. Les premiers résultats ont été présentés récemment lors de l’EWAF’23 : European Workshop on Algorithmic Fairness par des chercheurs* de la HESB en collaboration avec des partenaires de l’Université de Leiden

Ces dernières années, de nombreux exemples ont mis en évidence le problème de la partialité dans l’application de l’intelligence artificielle. Partialité dans le recrutement de femmes par l’IA [2], les chatbots racistes [3] ou les systèmes de contrôle des passeports qui révèlent des préjugés envers les femmes de couleur [1], ne sont que quelques exemples de ce qui peut arriver lorsque des préjugés sont inclus dans des données ou des modèles d’entraînement pour l’apprentissage automatique

Les défis à relever pour identifier et désamorcer les préjugés sont nombreux. Les technologies d’IA se présentent sous de nombreuses formes différentes et nécessitent donc des données d’apprentissage différentes, telles que des vidéos, des images, des textes ou des données structurées. Des données d’entraînement différentes peuvent nécessiter une détection et une réduction des biais différentes. De même, les stéréotypes de la société qui conduisent à un tel biais dans les données peuvent être axés sur des attributs très différents tels que le sexe, l’origine, l’âge et de nombreuses autres caractéristiques personnelles. En outre, le biais peut être intersectionnel. Le biais peut également être introduit à différentes étapes du processus de développement, par exemple dans les données de formation, qui reflètent un biais historique de la société, ou à des étapes ultérieures du processus lors de l’application ou du développement de la technologie. Enfin, la définition de l’équité est également un défi. Ce qui est équitable ou non peut signifier des choses différentes pour différentes personnes et nécessite donc des recherches supplémentaires pour chaque cas d’application spécifique

L’IA sur le marché du travail

Les technologies d’IA sont de plus en plus utilisées dans le contexte du marché du travail. Les questions d’équité et de partialité dans ce contexte sont étudiées dans le projet « BIAS », financé par Horizon Europe. Dans le cadre d’une première série de recherches sur le terrain, 70 responsables des ressources humaines* et développeurs d’IA* ont été interrogés dans différents pays européens [4]. En général, les participants* étaient favorables à l’utilisation d’applications d’IA pour soutenir le processus de recrutement et de sélection, mais certains ont exprimé des inquiétudes quant à la gestion des collaborateurs* impliquant l’IA. Les participants* ont également appelé à l’adoption de mesures visant à atténuer les préjugés liés à la diversité dans ce contexte, en mettant l’accent sur les préjugés liés au genre

L’objectif du projet BIAS est d’introduire des méthodes de détection et d’atténuation des biais dans les applications d’IA, notamment dans les modèles linguistiques, et de développer une prise de décision équitable dans le contexte des applications RH. À cette fin, une technologie de preuve de concept, le Debiaser, sera développée dans le cadre du projet

Le débiaser

Le débiaser se compose de trois éléments différents, comme le montre la figure 1

Figure 1 : Les différents composants du débiaser.

Tout d’abord, nous examinons comment un recrutement équitable peut être effectué à l’aide du Case Based Reasoning. Cela nécessite une définition de l’équité spécifique au cas d’utilisation, qui garantit que des candidats similaires sont traités de la même manière. L’idée centrale du Case-Based Reasoning est de résoudre des problèmes similaires à l’aide de solutions déjà utilisées, qui ont été appliquées auparavant à des problèmes similaires et qui ont été curées manuellement par des personnes

Le débile examine en outre comment les applications du domaine du traitement du langage naturel (NLP) peuvent être déformées dans ce contexte. D’un côté, il considère la prise de décision basée sur le texte. L’objectif est d’expliquer comment les décisions sont prises, et donc de découvrir des distorsions potentielles dans les données d’entraînement et de proposer des méthodes pour atténuer ces distorsions

Enfin, le débiaser examine comment les stéréotypes sociaux se reflètent dans les modèles linguistiques. Les modèles linguistiques sont les modèles derrière des applications telles que ChatGPT ou Bard. Ils codent les relations entre les mots dans des vecteurs mathématiques, de sorte que des calculs peuvent être effectués pour déterminer si, par exemple, deux mots sont apparentés. C’est là qu’intervient la distorsion. Il a été démontré qu’il existe un biais pour les mots des domaines profession/famille et prénoms masculins/féminins [5]. En particulier, les recherches indiquent que ces types de stéréotypes sociaux, encodés dans des modèles linguistiques, dépendent de la langue et du contexte culturel [6]. Le débiaser vise à quantifier et à réduire les distorsions dans les modèles linguistiques de différentes langues européennes (voir figure 2)

Figure 2 : Une partie du projet Debiaser étudie comment mesurer et réduire les distorsions dans les modèles linguistiques pré-entraînés de différentes langues européennes.

Les premiers aperçus du projet et des travaux en cours sur Debiaser ont été présentés récemment lors de l’European Workshop on Algorithmic Fairness EWAF’23 par des chercheurs* du groupe de recherche en intelligence automatique appliquée de la HESB, en collaboration avec des partenaires* du centre eLaw de l’Université de Leiden

Publication

Rigotti, C., Puttick A., Fosch-Villaronga, E., et Kurpicz-Briki, M. (2023) The BIAS project : Mitigating diversity biases of AI in the labour market. European Workshop on Algorithmic Fairness (EWAF’23), Winterthur, Suisse, 7-9, juin 2023. Disponible à l’adresse https://ceur-ws.org/Vol-3442/paper-47.pdf

Références

[1] h ttps://www.bbc.com/news/technology-54349538.amp

[2] h ttps://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G

[3] h ttps://www.bbc.com/news/technology-35902104

[4] Rigotti, C., Puttick A., Fosch-Villaronga, E., et Kurpicz-Briki, M. (2023) The BIAS project : Mitigating diversity biases of AI in the labour market. European Workshop on Algorithmic Fairness (EWAF’23), Winterthur, Suisse, 7-9, juin 2023. Disponible à l’adresse https://ceur-ws.org/Vol-3442/paper-47.pdf

[5] Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). La sémantique dérivée automatiquement des corpus linguistiques contient des biais de type humain. Science, 356(6334), 183-186

[6] Kurpicz-Briki, M., & Leoni, T. (2021). Un monde plein de stéréotypes ? Further Investigation on Origin and Gender Bias in Multi-Lingual Word Embeddings. Frontiers in Big Data, 4, 625290. Disponible sur https://www.frontiersin.org/articles/10.3389/fdata.2021.625290/full

Lien vers eLaw – Centre pour le droit et les technologies numériques https://www.universiteitleiden.nl/en/law/institute-for-the-interdisciplinary-study-of-the-law/elaw

Lien vers le groupe de recherche AMI : bfh.ch/ami

Lien vers le projet BIAS biasproject.eu