Le gain attendu du tri automatisé devait être confronté au coût du développement, des vérifications et d’un éventuel retrait. Les données publiques ne permettent pas de conclure que le projet était rentable.
CAS RÉEL · 2014 – 2018
Amazon — l’outil de recrutement IA
Un outil d’intelligence artificielle conçu pour trier des CV, développé par l’une des entreprises les plus solides du monde — et abandonné parce qu’il défavorisait les femmes. Un cas d’école pour la question que HUMICS pose : ce projet doit-il exister ainsi ?
01 / Les faits, dans l’ordre
Les faits, dans l’ordre
- 2014
Amazon construit un outil d’IA pour trier les candidatures : 100 CV en entrée, les 5 meilleurs en sortie (rapporté par Reuters).
- Le mécanisme
l’outil apprend sur dix ans de CV reçus par l’entreprise, venus pour la plupart d’hommes. Il en déduit à quoi ressemble un « bon » profil : à ceux d’hier.
- 2015
constat interne : le système n’est pas neutre. Il pénalise les CV contenant le mot « women’s » (par exemple « capitaine d’un club d’échecs féminin ») et déclasse les diplômées de deux universités féminines.
- Début 2017
l’équipe est dissoute, l’outil abandonné.
- Octobre 2018
l’affaire est révélée publiquement par Reuters.
Ce que ce cas met en discussion
Business Readiness Score (BRS) examine si le projet peut tenir commercialement. HUMICS examine son alignement humain et ses effets sur les personnes. Leur croisement éclaire une même décision : un projet pourrait être viable et néanmoins refusé en l’état.
Le classement défavorisait des candidatures féminines. Avant tout déploiement, il fallait examiner les effets sur les personnes, la possibilité de contester et la responsabilité des recruteurs.
Le croisement
Un avantage économique supposé ne compense pas ce risque humain. Même si la viabilité avait été établie, le comité aurait pu refuser l’outil en l’état, demander des corrections et en garder les motifs.
Ce que HUMICS aurait mis sur la table, avant
Dans un outil de tri des candidatures, les questions à instruire portent sur l’explication des classements, leur contestation, le suivi des effets sur différents groupes et la responsabilité des recruteurs. Les faits connus après coup éclairent ces questions ; ils ne prouvent pas qu’une courte réunion aurait évité le développement du projet.
EN UNE LIGNE
Le fait que le projet soit techniquement possible ne suffit pas. Si le gain commercial était démontré, le comité pourrait encore refuser ce classement en l’état pour protéger les candidats, motiver ce choix et fixer les conditions d’un éventuel réexamen.
Sources et limites
Dastin, J., Reuters, « Amazon scraps secret AI recruiting tool that showed bias against women », 10 octobre 2018. Cas repris dans le casebook BRS & HUMICS :
Lecture rétrospective sur données publiques — une illustration de méthode, pas une évaluation officielle.
Lecture rétrospective sur données publiques. La matrice éclaire un arbitrage ; elle ne décide pas à la place d’un comité.