Logo BRS Logo HUMICS BRS · HUMICS

CASO REAL · 2014 – 2018

Amazon — la herramienta de reclutamiento con IA

Una herramienta de inteligencia artificial creada para filtrar CV, desarrollada por una de las empresas más sólidas del mundo — y abandonada porque perjudicaba a las mujeres. Un caso de manual para la pregunta que plantea HUMICS: ¿debe existir así este proyecto?

Qué pasó, por fechas

  1. 2014

    Amazon construye una herramienta de IA para clasificar candidaturas: 100 CV a la entrada, los 5 mejores a la salida (según Reuters).

  2. El mecanismo

    la herramienta aprende de diez años de CV recibidos por la empresa, en su mayoría de hombres. Deduce cómo es un «buen» perfil: como los de ayer.

  3. 2015

    constatación interna: el sistema no es neutral. Penaliza los CV que contienen la palabra « women’s » (por ejemplo « capitana de un club de ajedrez femenino ») y degrada a las egresadas de dos universidades femeninas.

  4. Principios de 2017

    el equipo se disuelve, la herramienta se abandona.

  5. Octubre de 2018

    el caso se hace público por Reuters.

Lo que HUMICS habría puesto sobre la mesa, antes

HUMICS examina un proyecto de IA desde el ángulo humano — impacto en las personas, explicabilidad de una decisión, sostenibilidad. En un uso de RR. HH. tan sensible, la grilla habría planteado, ya en 2014, las preguntas que terminaron costando años: ¿se puede explicar una clasificación? ¿se puede impugnar? ¿quién vigila el efecto sobre grupos de candidatos? Planteada antes, la pregunta cuesta 45 minutos. Planteada después, años.

Dastin, J., Reuters, «Amazon scraps secret AI recruiting tool that showed bias against women», 10 de octubre de 2018. Caso recogido en el casebook BRS & HUMICS :

PDF en Zenodo

Lectura retrospectiva de datos públicos — una ilustración de método, no una evaluación oficial.

Ver el otro caso real Apple Card / Goldman Sachs
← Volver a los casos reales Probar el mini-scan (1 min) Reservar 45 minutos, gratis