Evaluando el sesgo en la toma de decisiones humanas
Un nuevo método para medir sesgos en decisiones sin estándares claros.
Wanxue Dong, Maria De-arteaga, Maytal Saar-Tsechansky
― 7 minilectura
Tabla de contenidos
- El Problema del Sesgo
- Una Nueva Forma de Evaluar el Sesgo
- Ejemplos de la Vida Real de Sesgos
- Sesgo en la Atención Médica
- Sesgo en la Contratación
- Sesgo en el Crowdsourcing
- Cómo Medimos el Sesgo
- Beneficios de Nuestro Método
- Probando que Nuestro Método Funciona
- Conclusión y Direcciones Futuras
- Fuente original
- Enlaces de referencia
El sesgo en la toma de Decisiones humana puede llevar a un trato injusto hacia las personas y crear problemas para las organizaciones y la sociedad. Muchas veces, las organizaciones intentan solucionar este problema creando diferentes programas para reducir los Sesgos. Sin embargo, medir cuán sesgadas son realmente las decisiones es complicado porque no siempre hay una respuesta clara sobre cuál debería ser la decisión correcta.
En este texto, presentamos un método sencillo para observar los sesgos en las decisiones humanas incluso cuando no tenemos un estándar claro para comparar. Nuestro método usa técnicas de aprendizaje automático para evaluar estos sesgos, y lo respaldamos con evidencia sólida que muestra que funciona mejor que otros métodos comunes.
El Problema del Sesgo
Cuando las personas toman decisiones, los sesgos pueden colarse. Por ejemplo, los doctores pueden tomar decisiones diferentes para pacientes según su raza o género, lo que lleva a una atención médica desigual. De manera similar, los empleadores pueden favorecer a candidatos de una raza en particular sobre candidatos igualmente calificados de otra raza, lo que se conoce como sesgo en las prácticas de contratación.
Incluso en el ámbito del Crowdsourcing, donde muchas personas contribuyen con sus opiniones o calificaciones, los sesgos pueden distorsionar el resultado. A menudo es difícil saber cómo estos sesgos afectan a diferentes grupos de personas porque no siempre hay un "estándar oro", o una manera de saber cuál debería haber sido la decisión correcta.
Existen muchas herramientas para tratar de identificar y corregir el sesgo, pero la mayoría de ellas se quedan cortas porque no consideran la calidad de las decisiones. Por ejemplo, algunos métricas miran cuántas personas de diferentes grupos son contratadas para un trabajo sin considerar si los contratados son los mejores candidatos para el puesto. Solo porque un cierto número de candidatos sean entrevistados no significa que sean la mejor opción.
Una Nueva Forma de Evaluar el Sesgo
Para abordar este problema, hemos desarrollado un método que utiliza decisiones pasadas tomadas por humanos, junto con un pequeño número de decisiones estándar, para evaluar los sesgos con precisión. La idea es simple: al comparar las decisiones humanas con un estándar de oro de lo que debería haber sido la decisión, podemos medir cuán sesgado está el proceso.
Este método está diseñado para ser flexible, de modo que se pueda utilizar en muchos campos diferentes, incluyendo la atención médica y la contratación. También nos aseguramos de validar nuestro método con datos del mundo real para demostrar que funciona consistentemente mejor que los métodos antiguos.
Ejemplos de la Vida Real de Sesgos
Consideremos algunos escenarios de la vida real para resaltar estos sesgos.
Sesgo en la Atención Médica
En la atención médica, los pacientes de grupos minoritarios a menudo reciben una calidad de atención inferior en comparación con otros. Por ejemplo, un médico puede recetar un tratamiento a un paciente blanco pero no el mismo tratamiento a un paciente negro, incluso si tienen una condición similar. Este trato desigual conduce a disparidades de salud significativas que pueden afectar el bienestar de comunidades enteras.
Sesgo en la Contratación
Cuando se trata de contratación, muchos estudios muestran que los currículos con nombres que suenan “étnicos” enfrentan sesgo en comparación con aquellos con nombres más comunes. Incluso si dos candidatos tienen las mismas calificaciones, el que tiene el nombre “étnico” podría recibir menos llamadas para entrevistas debido a un sesgo inconsciente.
Sesgo en el Crowdsourcing
En el mundo de las reseñas en línea y la información recopilada por multitudes, los sesgos también pueden aparecer. Por ejemplo, en un grupo de reseñadores, ciertos grupos pueden no expresar sus opiniones tan abiertamente, lo que sesga las calificaciones generales, ya sea de manera positiva o negativa.
Cómo Medimos el Sesgo
Nuestro enfoque comienza observando a un grupo de tomadores de decisiones humanos. Esto podría ser doctores, gerentes de contratación, o cualquier persona que tome decisiones basadas en el juicio humano. Cada tomador de decisiones tiene un historial de decisiones que podemos analizar. Introducimos un paso que involucra revisar un pequeño conjunto de decisiones que vienen de un estándar oro para ver cómo se comparan con lo que hizo cada tomador de decisiones.
Al centrarnos en errores como falsos positivos o falsos negativos en esas decisiones a través de grupos, podemos ver dónde existen sesgos. Por ejemplo, si un grupo tiene significativamente más falsos positivos que otro, podemos decir que hay un sesgo en ese proceso de toma de decisiones.
Beneficios de Nuestro Método
Nuestro método ofrece varias ventajas:
- Flexibilidad: Se puede aplicar a diversos campos y escenarios de toma de decisiones.
- Simplicidad: Usa datos históricos y un pequeño número de etiquetas de estándar oro, lo que lo hace fácil de implementar.
- Mejor Toma de Decisiones: Ayuda a identificar sesgos antes de que se conviertan en un problema, permitiendo a las organizaciones tomar medidas proactivas.
Al proporcionar una comprensión más clara de los sesgos, las organizaciones pueden tomar mejores decisiones en contratación, atención médica, y mucho más.
Probando que Nuestro Método Funciona
Para validar nuestro enfoque, realizamos varias pruebas y evaluaciones. Comparamos nuestro método con métodos existentes para ver cómo se desempeñaba. Los resultados fueron prometedores; nuestro método a menudo proporcionó mejores ideas sobre el sesgo humano y produjo evaluaciones más útiles.
Por ejemplo, probamos nuestro método usando varios conjuntos de datos relacionados con ingresos, crédito y tasas de readmisión en hospitales. En casi todos los casos, encontramos que nuestro método superó sustancialmente a otras técnicas. La retroalimentación fue clara: las organizaciones pueden beneficiarse de usar nuestro método para evaluar el sesgo.
Conclusión y Direcciones Futuras
En resumen, nuestro método para evaluar el sesgo humano no solo es innovador, sino práctico. Permite a las organizaciones tener una imagen más clara de cómo el sesgo afecta sus procesos de toma de decisiones.
Al mirar hacia el futuro, hay posibilidades emocionantes para expandir este trabajo. Podemos explorar maneras de integrar evaluaciones de sesgo en otras áreas de investigación, desarrollar mejores materiales de capacitación para los tomadores de decisiones y asegurarnos de que las organizaciones puedan entrenar sus algoritmos sin incorporar sesgos humanos.
En última instancia, nuestro objetivo es ayudar a crear una sociedad más justa haciendo que las decisiones humanas sean más transparentes y responsables. Esto no solo mejorará los resultados para los individuos, sino que también aumentará la confianza general en las instituciones y procesos que sirven al público.
Al seguir afinando nuestro enfoque y explorando sus aplicaciones, podemos contribuir a cambios significativos en la forma en que las organizaciones ven y abordan el sesgo.
Pensémoslo de esta manera: si podemos entrenar máquinas para aprender de sus errores, tal vez también podamos ayudar a los humanos a hacer lo mismo. Después de todo, todos cometemos errores, ¡pero es cómo aprendemos de ellos lo que realmente cuenta!
Título: Using Machine Bias To Measure Human Bias
Resumen: Biased human decisions have consequential impacts across various domains, yielding unfair treatment of individuals and resulting in suboptimal outcomes for organizations and society. In recognition of this fact, organizations regularly design and deploy interventions aimed at mitigating these biases. However, measuring human decision biases remains an important but elusive task. Organizations are frequently concerned with mistaken decisions disproportionately affecting one group. In practice, however, this is typically not possible to assess due to the scarcity of a gold standard: a label that indicates what the correct decision would have been. In this work, we propose a machine learning-based framework to assess bias in human-generated decisions when gold standard labels are scarce. We provide theoretical guarantees and empirical evidence demonstrating the superiority of our method over existing alternatives. This proposed methodology establishes a foundation for transparency in human decision-making, carrying substantial implications for managerial duties, and offering potential for alleviating algorithmic biases when human decisions are used as labels to train algorithms.
Autores: Wanxue Dong, Maria De-arteaga, Maytal Saar-Tsechansky
Última actualización: 2024-12-10 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2411.18122
Fuente PDF: https://arxiv.org/pdf/2411.18122
Licencia: https://creativecommons.org/licenses/by-nc-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.kaggle.com/datasets/uciml/adult-census-income
- https://archive-beta.ics.uci.edu/dataset/350/default+of+credit+card+clients
- https://www.kaggle.com/muhammadimran112233/employees-evaluation-for-promotion
- https://www.kaggle.com/code/iabhishekofficial/prediction-on-hospital-readmission
- https://cleanlab.ai/casestudies/