El beneficio esperado de la selección automática debía compararse con los costes de desarrollo, verificación y eventual retirada. La información pública no permite concluir que el proyecto fuera rentable.
CASO REAL · 2014 – 2018
Amazon — la herramienta de reclutamiento con IA
Una herramienta de inteligencia artificial creada para filtrar CV, desarrollada por una de las empresas más sólidas del mundo — y abandonada porque perjudicaba a las mujeres. Un caso de manual para la pregunta que plantea HUMICS: ¿debe existir así este proyecto?
01 / Los hechos, en orden
Los hechos, en orden
- 2014
Amazon construye una herramienta de IA para clasificar candidaturas: 100 CV a la entrada, los 5 mejores a la salida (según Reuters).
- El mecanismo
la herramienta aprende de diez años de CV recibidos por la empresa, en su mayoría de hombres. Deduce cómo es un «buen» perfil: como los de ayer.
- 2015
constatación interna: el sistema no es neutral. Penaliza los CV que contienen la palabra « women’s » (por ejemplo « capitana de un club de ajedrez femenino ») y degrada a las egresadas de dos universidades femeninas.
- Principios de 2017
el equipo se disuelve, la herramienta se abandona.
- Octubre de 2018
el caso se hace público por Reuters.
Qué plantea este caso
Business Readiness Score (BRS) examina si el proyecto podría sostenerse comercialmente. HUMICS examina su alineación humana y sus efectos sobre las personas. Su cruce orienta una sola decisión: un proyecto podría ser viable y aun así rechazarse tal como está.
La clasificación perjudicaba a candidaturas de mujeres. Antes del despliegue había que examinar sus efectos, las vías de impugnación y la responsabilidad de los responsables de selección.
El cruce
Un supuesto beneficio económico no elimina ese riesgo humano. Incluso si se hubiera demostrado la viabilidad, un comité podría haber rechazado la herramienta tal como estaba, pedido cambios y documentado sus motivos.
Lo que HUMICS habría puesto sobre la mesa, antes
Para una herramienta de selección, conviene examinar cómo se explican e impugnan las clasificaciones, cómo se vigilan sus efectos en distintos grupos y quién conserva la responsabilidad de contratar. Los hechos posteriores ayudan a formular estas preguntas; no prueban que una reunión breve hubiera evitado el desarrollo del proyecto.
EN UNA LÍNEA
La posibilidad técnica no basta. Aunque se demostrara el valor comercial, un comité podría rechazar esta clasificación tal como estaba para proteger a los candidatos, documentar sus motivos y fijar condiciones para reconsiderarla.
Fuentes y límites
Dastin, J., Reuters, «Amazon scraps secret AI recruiting tool that showed bias against women», 10 de octubre de 2018. Caso recogido en el casebook BRS & HUMICS :
Lectura retrospectiva de datos públicos — una ilustración de método, no una evaluación oficial.
Lectura retrospectiva de información pública. La matriz orienta la deliberación; no decide por el comité.