Partialité de l'IA

‍

Newsletter juillet 2020

Le mouvement Black Lives Matter, ravivé par la mort tragique de George Floyd, s'est répandu dans le monde entier. Cette tragédie a mis sous une lumière crue les discriminations qui minent encore nos sociétés. La technologie et l'intelligence artificielle en particulier n'échappent pas à cet examen de conscience que nous devons mener collectivement. Conçues par des humains, elles ont tendance à reproduire leurs préjugés. Cela soulève de nombreuses questions sur la façon dont l'IA est conçue, par qui, et comment nous pouvons garantir son éthique.

En 2018, Joy Buolamwini, chercheuse noire au MIT, s'étonne qu'un logiciel de reconnaissance faciale avec lequel elle travaille reconnaisse les visages de ses amis mais pas le sien. Lorsqu'elle met un masque blanc, l'algorithme l'identifie immédiatement. Une expérience qui prompts l'a amenée à faire sa thèse sur le sujet.

‍

<iframe width="560" height="315" src="https://www.youtube.com/embed/TWWsW1w-BVo" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

‍

Après avoir testé les systèmes de reconnaissance faciale d'IBM, de Microsoft et de Face ++, les résultats sont clairs : ils reconnaissent tous plus d'hommes que de femmes et sont plus précis sur les peaux claires que sur les peaux foncées. Les exemples de discrimination que ce type de problème engendre ne manquent pas :

• l'algorithme de la carte Apple Pay a accordé une limite de crédit plus élevée aux hommes qu'aux femmes, malgré des revenus équivalents ;
• du logiciel utilisé par le système judiciaire américain pour évaluer le risque de récidive, est estimé beaucoup plus élevé pour les Afro-Américains ;
• En 2016, Tay, une IA de Microsoft lancée sur Twitter pour apprendre de ses échanges avec les internautes, a dû être retirée en catastrophe après avoir commencé à proférer des tweets racistes et négationnistes.

Un humain trop humain

On a trop souvent tendance à concevoir l'IA comme une entité surgie ex nihilo. Or, elle n'apprend qu'à partir des images et des informations qui lui sont fournies. En d'autres termes, elle n'apprend qu'à l'image de ceux qui la conçoivent. À ce titre, il n'est pas étonnant qu'elle conduise à des prises de décision racistes et sexistes, lorsque les algorithmes qui la composent sont très majoritairement développés par des hommes blancs."Les algorithmes ne sont pas dotés de conscience, mais construits par des personnes", explique Mouhamadou Moustapha Cissé, responsable du premier centre de recherche sur l'intelligence artificielle en Afrique. "Ce sont, en partie, les préjugés de ces personnes qui affectent la façon dont les algorithmes fonctionnent".

‍

‍

Défauts intrinsèques

Dans une tribune, Nelly Chatue-Diop et Soumia Malinbaum, respectivement Chief Data Officer Betclic Group et vice-présidente Business Development Keyrus, soulignent trois autres faiblesses techniques dans la manière dont ces algorithmes sont conçus :

1. Les algorithmes eux-mêmes : La plupart des développeurs d'applications n'utilisent pas les algorithmes d'apprentissage qu'ils ont personnellement créés pour mesurer. Ces algorithmes génériques, qui sont librement disponibles, ont pour la plupart été développés par des scientifiques dont la priorité est de valider l'exactitude de leur modèle mathématique et d'éviter le sur-apprentissage, et non de s'assurer que les modèles créés avec ces algorithmes sont généralisés de manière équitable. Ainsi, non seulement aucun de ces algorithmes n'a été conçu avec un objectif explicite de non-discrimination, mais ils ont été développés par une population singulièrement homogène.
   
2. Données d'apprentissage : Le modèle étant construit à partir de données, on comprend que pour l'apprentissage et la validation du modèle lui-même, il y a un besoin crucial de disposer de jeux de données cohérents, mais aussi représentatifs de la diversité des situations/cas à traiter.
   
3. Critères de performance : Un modèle est considéré comme performant lorsque, après la phase d'apprentissage, il traite correctement un pourcentage élevé de nouveaux cas. Les tests pré-opérationnels sont généralement réalisés sur des échantillons globaux qui ne permettent pas de savoir si le modèle discrimine ou non sur le sexe, l'origine ou d'autres critères. Ils se concentrent sur l'évaluation de la précision du modèle et jugent si le taux d'erreur est acceptable : aucun autre critère n'est pris en compte.

‍

‍

Sensibilisation

Ces dernières années, ces questions ont fait l'objet d'une prise de conscience croissante :

• Dans un rapport publié en décembre 2017, la CNIL recommande de former tous les acteurs de la chaîne algorithmique à l'éthique, de rendre les sujets transparents et compréhensibles, et de mettre en place une plateforme nationale d'éthique.
  
• L'aspect éthique figurait également en bonne place dans le rapport "AI for humanity" de Cédric Villani, remis à Emmanuel Macron en mars 2018.
  
• Fin mai, le défenseur des droits et la CNIL ont appelé à une mobilisation collective sur le sujet.
  
• En juin, le Laboratoire de l'égalité a dévoilé 30 solutions très concrètes pour lutter contre les abus discriminatoires de l'AITLegouvernement des États-Unis d'Amérique s'est engagé à promouvoir l'égalité des sexes, en particulier en ce qui concerne les femmes.

Oui, nous pouvons

Une évolution vers le mieux est possible. "Constatant des différences stigmatisantes dans les traductions de Google Translate dans certaines langues, Google a veillé à générer des traductions sexuées pour toutes les phrases dont le modèle original ne proposait qu'une version masculine. Des indicateurs ont été mis en place pour mesurer les progrès et réduire ce biais de plus de 90% dans les traductions du hongrois, du finnois, du persan et du turc vers l'anglais. Le nouveau modèle est d'autant plus pertinent et comprend désormais que dans ces langues " docteur " et " ingénieur " peuvent être féminins ! ", se réjouissent Nelly Chatue-Diop et Soumia Malinbaum.

C'est plus que jamais un enjeu majeur, car l'IA s'immisce de plus en plus dans les moindres interstices de notre quotidien. A nous de la rendre à l'image de la société que nous voulons construire.

Isahit : l'éthique au cœur

‍

‍

Collaborant presque exclusivement avec des jeunes femmes noires issues de pays en développement, isahit contribue pleinement au développement d'une IA plus éthique et à l'image d'une société dans son ensemble, respectueuse de toute sa diversité. En annotant et en supervisant des algorithmes d'apprentissage automatique pour nos clients, ces femmes travaillent chaque jour à éviter les biais qu'ils pourraient générer. L'enjeu n'est pas seulement éthique, car la diversité est l'une des clés essentielles de la précision et de l'efficacité de l'IA. Très concrètement :

• dans le cas de la reconnaissance faciale, une personne d'une certaine ethnie aura plus de facilité à reconnaître une autre personne de la même ethnie,
• dans le secteur de l'alimentation, un Africain sera en mesure d'identifier plus finement les plats ou ingrédients spécifiques à la cuisine africaine,
• Il en va de même pour l'analyse des déchets.

C'est grâce à la diversité de sa communauté qu'isahit peut garantir à ses clients des données précises et valides, spécifiques et contextualisées.

" Chez isahit, nous accordons également beaucoup d'importance à la formation de notre communauté. Notre objectif est d'aider ces femmes à atteindre leurs objectifs professionnels tout en leur donnant les clés pour prendre pleinement part à la révolution numérique en cours.

Isabelle Mashola, PDG d'isahit

Lisez la newsletter dans votre navigateur web