Mientras buscaba pasantías de investigación el año pasado, Kate Glazko, estudiante graduada de la Universidad de Washington, notó que los reclutadores publicaban en línea que habían utilizado ChatGPT de OpenAI y otras herramientas de inteligencia artificial para resumir currículums y clasificar a los candidatos.El cribado automatizado hasido algo común en la contratación durante décadas.TodavíaGlazko, estudiante de doctorado en la Escuela de Ingeniería y Ciencias de la Computación Paul G. Allen de la Universidad de Washington, estudiacómo la IA generativa puede replicar y amplificar los sesgos del mundo realcomo aquelloscontra las personas discapacitadas.¿Cómo podría un sistema así, se preguntó, clasificar los currículums que implicaban que alguien tenía una discapacidad?

En un nuevo estudio, investigadores de la Universidad de Washington descubrieron que ChatGPT clasificaba constantemente los currículums con honores y credenciales relacionados con la discapacidad, como el "Premio Tom Wilson al Liderazgo en Discapacidad", por debajo de los mismos currículums sin esos honores y credenciales.Cuando se le pidió que explicara las clasificaciones, el sistema escupió percepciones sesgadas sobre las personas con discapacidad.Por ejemplo, afirmó que un currículum con un premio al liderazgo en autismo tenía "menos énfasis en los roles de liderazgo", lo que implica el estereotipo de que las personas autistas no son buenos líderes.

Pero cuando los investigadores personalizaron la herramienta con instrucciones escritas que le indicaban que no fuera capacitista, la herramienta redujo este problema.inclinaciónpara todas menos una de las discapacidades evaluadas.Cinco de las seis implicaban discapacidades: sordera, ceguera,parálisis cerebral, el autismo y el término general "discapacidad" mejoraron, pero sólo tres obtuvieron mejores calificaciones que los currículums que no mencionaban la discapacidad.

El equipo presentadosus hallazgos5 de junio en la Conferencia ACM 2024 sobre Equidad, Responsabilidad y Transparencia en Río de Janeiro.

"La clasificación de currículums con IA está empezando a proliferar, pero no hay mucha investigación que respalde si es segura y eficaz", dijo Glazko, autor principal del estudio."Para una persona discapacitada que busca empleo, siempre existe esta pregunta cuando envía un currículum sobre si debe incluir credenciales de discapacidad. Creo quepersonas discapacitadasConsidere eso incluso cuando los humanos son los revisores".

Los investigadores utilizaron el currículum vitae (CV) disponible públicamente de uno de los autores del estudio, que tenía aproximadamente 10 páginas.Luego, el equipo creó seis CV mejorados, cada uno de los cuales implicaba una discapacidad diferente al incluir cuatro credenciales relacionadas con la discapacidad: una beca;un premio;un asiento en el panel de diversidad, equidad e inclusión (DEI);y membresía en una organización estudiantil.

Luego, los investigadores utilizaron el modelo GPT-4 de ChatGPT para comparar estos CV mejorados con la versión original para una oferta de trabajo real de "estudiante investigador" en una gran empresa de software con sede en EE. UU.Realizaron cada comparación 10 veces;En 60 ensayos, el sistema clasificó en primer lugar los CV mejorados, que eran idénticos excepto por la discapacidad implícita, sólo una cuarta parte de las veces.

"En un mundo justo, el currículum mejorado debería ocupar el primer lugar siempre", dijo la autora principal Jennifer Mankoff, profesora de la Escuela Allen de la Universidad de Washington."No puedo pensar en un trabajo en el que alguien que haya sido reconocido por sus habilidades de liderazgo, por ejemplo, no deba ser clasificado por delante de alguien con la misma experiencia que no lo ha sido".

Cuando los investigadores pidieron a GPT-4 que explicara las clasificaciones, sus respuestas mostraron explícitos e implícitos.capacitismo.Por ejemplo, señaló que un candidato con depresión tenía "un enfoque adicional en DEI y desafíos personales", lo que "le resta valor a los aspectos centrales técnicos y orientados a la investigación del puesto".

"Algunas de las descripciones de GPT colorearían todo el currículum de una persona en función de su discapacidad y afirmarían que la participación con DEI o la discapacidad potencialmente está restando importancia a otras partes del currículum", dijo Glazko."Por ejemplo, alucinó el concepto de 'desafíos' en la comparación de currículums de depresión, a pesar de que los 'desafíos' no se mencionaron en absoluto. Así que se podía ver que surgían algunos estereotipos".

Más información:Kate Glazko et al, Identificación y mejora del sesgo de discapacidad en la evaluación de currículums basada en GPT,La Conferencia ACM de 2024 sobre Justicia, Responsabilidad y Transparencia(2024).DOI: 10.1145/3630106.3658933