Las organizaciones utilizan cada vez más modelos de aprendizaje automático para asignar recursos u oportunidades escasos.Por ejemplo, estos modelos pueden ayudar a las empresas a examinar los currículums para elegir candidatos para entrevistas de trabajo o ayudar a los hospitales a clasificar a los pacientes con trasplante de riñón en función de su probabilidad de supervivencia.

Al implementar un modelo, los usuarios normalmente se esfuerzan por garantizar que sus predicciones sean justas reduciendo el sesgo.A menudo, esto implica técnicas como ajustar las características que utiliza un modelo para tomar decisiones o calibrar las puntuaciones que genera.

Sin embargo, investigadores del MIT y la Universidad Northeastern sostienen que estos métodos de equidad no son suficientes para abordar las injusticias estructurales y las incertidumbres inherentes.en unpapel nuevopublicado en elarXivservidor de preimpresión, muestran cómo la aleatorización de las decisiones de un modelo de forma estructurada puede mejorar la equidad en determinadas situaciones.

Por ejemplo, si varias empresas utilizan el mismo modelo de aprendizaje automático para clasificar a los candidatos a una entrevista de trabajo de forma determinista, sin ningún tipo de aleatorización, entonces una persona que lo merezca podría ser el candidato peor clasificado para cada puesto, tal vez debido a cómo el modelo pondera las respuestas proporcionadas.en un formulario en línea.Introducir la aleatorización en las decisiones de un modelo podría evitar que a una persona o grupo digno siempre se le niegue un recurso escaso, como una entrevista de trabajo.

A través de su análisis, los investigadores descubrieron que la aleatorización puede ser especialmente beneficiosa cuando las decisiones de un modelo implican incertidumbre o cuando el mismo grupo recibe constantemente decisiones negativas.

Presentan un marco que se podría utilizar para introducir una cantidad específica de aleatorización en las decisiones de un modelo mediante la asignación de recursos a través de una lotería ponderada.Este método, que un individuo puede adaptar a su situación, puede mejorar la equidad sin perjudicar la eficiencia o precisión de un modelo.

"Incluso si se pudieran hacer predicciones justas, ¿deberían decidir estas asignaciones sociales de recursos u oportunidades escasos estrictamente a partir de puntajes o clasificaciones? A medida que las cosas escalan y vemos que estos algoritmos deciden cada vez más oportunidades, las incertidumbres inherentes en estos puntajespuede amplificarse. Mostramos que la equidad puede requerir algún tipo de aleatorización", dice Shomik Jain, estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal del artículo.

A Jain se unen en el artículo Kathleen Creel, profesora asistente de filosofía e informática en la Universidad Northeastern;y la autora principal Ashia Wilson, profesora de desarrollo profesional de Lister Brothers en el Departamento de Ingeniería Eléctrica e Informática e investigadora principal en el Laboratorio de Sistemas de Información y Decisión (LIDS).La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático (ICML 2024), celebrada en Viena, Austria, del 21 al 27 de julio.

Considerando reclamaciones

Este trabajo se basa en undocumento anterioren el que los investigadores exploraron los daños que pueden ocurrir cuando se utilizan sistemas deterministas a escala.Descubrieron que el uso de un modelo de aprendizaje automático para asignar recursos de manera determinista puede amplificar las desigualdades que existen en los datos de entrenamiento, lo que puede reforzar el sesgo y la desigualdad sistémica.

"La aleatorización es un concepto muy útil en estadística y, para nuestro deleite, satisface las demandas de equidad que surgen tanto desde un punto de vista sistémico como individual", dice Wilson.

En este artículo, exploraron la cuestión de cuándo la aleatorización puede mejorar la equidad.Enmarcaron su análisis en torno a las ideas del filósofo John Broome, quien escribió sobre el valor de utilizar las loterías para otorgar recursos escasos de una manera que respete todas las reclamaciones de los individuos.

El reclamo de una persona sobre un recurso escaso, como un trasplante de riñón, puede surgir del mérito, el merecimiento o la necesidad.Por ejemplo, toda persona tiene derecho a la vida y sus derechos sobre unatrasplante de riñónpuede surgir de ese derecho, explica Wilson."Cuando se reconoce que las personas tienen diferentes derechos sobre estos recursos escasos, la justicia requerirá que respetemos todos los derechos de los individuos. Si siempre le damos el recurso a alguien con un derecho más fuerte, ¿es eso justo?"

Jain dice.

Ese tipo de asignación determinista podría causar exclusión sistémica o exacerbar la desigualdad patrón, que ocurre cuando recibir una asignación aumenta la probabilidad de que un individuo reciba asignaciones futuras.Además,modelos de aprendizaje automáticoSe pueden cometer errores, y un enfoque determinista podría provocar que se repita el mismo error.

La aleatorización puede superar estos problemas, pero eso no significa que todas las decisiones que toma un modelo deban ser aleatorizadas por igual.

Aleatorización estructurada

Los investigadores utilizaron una lotería ponderada para ajustar el nivel de aleatorización en función de la cantidad de incertidumbre involucrada en la toma de decisiones del modelo.Una decisión que sea menos segura debería incorporar más aleatorización.

"En la asignación de riñones, normalmente la planificación se basa en la esperanza de vida proyectada, y eso es profundamente incierto. Si dos pacientes tienen solo cinco años de diferencia, se vuelve mucho más difícil de medir. Queremos aprovechar ese nivel de incertidumbre para adaptar la aleatorización".dice Wilson.

Los investigadores utilizaron métodos de cuantificación de la incertidumbre estadística para determinar cuánta aleatorización se necesita en diferentes situaciones.Muestran que la aleatorización calibrada puede conducir a resultados más justos para los individuos sin afectar significativamente la utilidad o eficacia de lamodelo.

"Se debe lograr un equilibrio entre la utilidad general y el respeto de los derechos de los individuos que reciben un recurso escaso, pero a menudo la compensación es relativamente pequeña", dice Wilson.

Sin embargo, los investigadores enfatizan que hay situaciones en las que las decisiones aleatorias no mejorarían la equidad y podrían dañar a las personas, como en contextos de justicia penal.

Pero podría haber otras áreas donde la aleatorización puede mejorar la equidad, comoadmisiones universitarias, y los investigadores planean estudiar otros casos de uso en trabajos futuros.También quieren explorar cómo la aleatorización puede afectar a otros factores, como la competencia o los precios, y cómo podría utilizarse para mejorar la solidez de los modelos de aprendizaje automático.

"Esperamos que nuestro artículo sea un primer paso para ilustrar que la aleatorización podría tener beneficios. Ofrecemos la aleatorización como herramienta. Cuánto querrán hacerlo dependerá de todas las partes interesadas en el proceso".asignación para decidir. Y, por supuesto, cómo deciden es otra cuestión de investigación", dice Wilson.

Esta historia se vuelve a publicar por cortesía de MIT News (web.mit.edu/newsoffice/), un sitio popular que cubre noticias sobre investigación, innovación y enseñanza del MIT.