Avaliando o Viés na Tomada de Decisões Humanas
Um novo método para medir preconceitos em decisões sem padrões claros.
Wanxue Dong, Maria De-arteaga, Maytal Saar-Tsechansky
― 7 min ler
Índice
O Viés na tomada de Decisões humanas pode levar a um tratamento injusto das pessoas e criar problemas para organizações e para a sociedade. Muitas vezes, as organizações tentam resolver isso criando programas diferentes para reduzir os viés. No entanto, medir o quão tendenciosas as decisões realmente são é complicado, porque nem sempre tem uma resposta clara sobre qual deveria ser a decisão certa.
Nesse texto, apresentamos um método simples para analisar os viés nas decisões humanas, mesmo quando não temos um padrão claro para comparar. Nosso método usa técnicas de aprendizado de máquina para avaliar esses viés, e a gente comprova com evidências sólidas que isso funciona melhor do que outros métodos comuns.
O Problema do Viés
Quando as pessoas tomam decisões, os viés podem entrar sem que a gente perceba. Por exemplo, médicos podem fazer escolhas diferentes para pacientes com base na raça ou no gênero, levando a uma desigualdade na Saúde. Da mesma forma, empregadores podem favorecer candidatos de uma raça específica em vez de candidatos igualmente qualificados de outra raça, o que é conhecido como viés nas práticas de contratação.
Até mesmo no mundo do Crowdsourcing, onde muitas pessoas contribuem com suas opiniões ou avaliações, os viés podem distorcer o resultado. Muitas vezes é difícil saber como esses viés afetam diferentes grupos de pessoas, porque nem sempre existe um "padrão de ouro", ou uma forma de saber qual seria a decisão correta.
Existem várias ferramentas tentando identificar e consertar viés, mas a maioria delas falha porque não considera a qualidade das decisões. Por exemplo, algumas métricas olham quantas pessoas de diferentes grupos foram contratadas para um trabalho, sem considerar se essas contratadas são as melhores para o cargo. Só porque um certo número de candidatos é entrevistado, não significa que eles são a melhor opção.
Uma Nova Maneira de Avaliar o Viés
Para lidar com esse problema, desenvolvemos um método que usa decisões passadas feitas por humanos, juntamente com um pequeno número de decisões de padrão ouro, para avaliar viés de forma precisa. A ideia é simples: comparando as decisões humanas com um padrão de ouro do que a decisão deveria ter sido, conseguimos medir o quanto de viés existe.
Esse método foi feito para ser flexível, então pode ser usado em várias áreas, incluindo saúde e contratações. Também garantimos que nosso método seja validado com dados do mundo real para mostrar que ele realmente tem um desempenho melhor do que os métodos mais antigos.
Exemplos da Vida Real de Viés
Vamos considerar alguns cenários da vida real para destacar esses viés.
Viés na Saúde
Na saúde, pacientes de grupos minoritários muitas vezes recebem uma qualidade de atendimento inferior em comparação com outros. Por exemplo, um médico pode prescrever um tratamento específico para um paciente branco, mas não o mesmo tratamento para um paciente negro, mesmo que eles tenham condições similares. Esse tratamento desigual leva a disparidades de saúde significativas que podem afetar o bem-estar de comunidades inteiras.
Viés na Contratação
Quando se trata de contratações, muitos estudos mostram que currículos com nomes que soam "étnicos" enfrentam viés em comparação com aqueles com nomes mais comuns. Mesmo que dois candidatos tenham as mesmas qualificaçõe, aquele com o nome "étnico" pode receber menos convites para entrevistas por causa de um viés inconsciente.
Viés no Crowdsourcing
No mundo das avaliações online e das informações coletadas pela multidão, viés também pode aparecer. Por exemplo, em um grupo de avaliadores, certos grupos podem não expressar suas opiniões tão abertamente, o que distorce as avaliações gerais, seja de forma positiva ou negativa.
Como Medimos o Viés
Nossa abordagem começa analisando um grupo de tomadores de decisão humanos. Isso pode ser médicos, gerentes de contratação ou qualquer um que tome decisões com base no julgamento humano. Cada tomador de decisão tem um histórico de decisões que podemos analisar. Introduzimos uma etapa que envolve verificar um pequeno conjunto de decisões que vêm de um padrão de ouro para ver como elas se comparam ao que cada tomador de decisão fez.
Focando em erros como falsos positivos ou falsos negativos nessas decisões entre grupos, conseguimos ver onde os viés existem. Por exemplo, se um grupo tem significativamente mais falsos positivos do que outro, podemos dizer que há um viés nesse processo de tomada de decisão.
Benefícios do Nosso Método
Nosso método oferece várias vantagens:
- Flexibilidade: Pode ser aplicado em várias áreas e cenários de tomada de decisão.
- Simplicidade: Usa dados históricos e um pequeno número de rótulos de padrão de ouro, tornando fácil sua implementação.
- Melhores Decisões: Ajuda a identificar viés antes que eles se tornem problemáticos, permitindo que as organizações tomem medidas proativas.
Ao fornecer uma compreensão mais clara dos viés, as organizações podem tomar decisões melhores em contratações, saúde e muito mais.
Provando que Nosso Método Funciona
Para validar nossa abordagem, realizamos vários testes e avaliações. Compararam nosso método com os existentes para ver como ele se saía. Os resultados foram promissores; nosso método frequentemente ofereceu melhores insights sobre o viés humano e produziu avaliações mais úteis.
Por exemplo, testamos nosso método usando vários conjuntos de dados relacionados a renda, crédito e taxas de readmissão hospitalar. Em quase todos os casos, descobrimos que nosso método superou substancialmente outras técnicas. O feedback foi claro: as organizações podem se beneficiar ao usar nosso método para avaliar viés.
Conclusão e Direções Futuras
Em resumo, nosso método para avaliar o viés humano não é só inovador, mas prático. Ele permite que as organizações tenham uma visão mais clara de como o viés afeta seus processos de tomada de decisão.
Enquanto olhamos para o futuro, há possibilidades empolgantes para expandir esse trabalho. Podemos explorar maneiras de integrar avaliações de viés em outras áreas de pesquisa, desenvolver melhores materiais de treinamento para tomadores de decisão e garantir que as organizações possam treinar seus algoritmos sem embutir viés humano.
No final das contas, nosso objetivo é ajudar a criar uma sociedade mais justa, tornando as decisões humanas mais transparentes e responsáveis. Isso não só melhorará os resultados para os indivíduos, mas também aumentará a confiança geral nas instituições e processos que servem ao público.
Ao continuar refinando nossa abordagem e explorando suas aplicações, esperamos contribuir para mudanças significativas em como as organizações veem e enfrentam o viés.
Vamos pensar assim: se podemos treinar máquinas para aprender com seus erros, talvez também possamos ajudar os humanos a fazer o mesmo. Afinal, todo mundo comete erros, mas é como aprendemos com eles que realmente conta!
Título: Using Machine Bias To Measure Human Bias
Resumo: Biased human decisions have consequential impacts across various domains, yielding unfair treatment of individuals and resulting in suboptimal outcomes for organizations and society. In recognition of this fact, organizations regularly design and deploy interventions aimed at mitigating these biases. However, measuring human decision biases remains an important but elusive task. Organizations are frequently concerned with mistaken decisions disproportionately affecting one group. In practice, however, this is typically not possible to assess due to the scarcity of a gold standard: a label that indicates what the correct decision would have been. In this work, we propose a machine learning-based framework to assess bias in human-generated decisions when gold standard labels are scarce. We provide theoretical guarantees and empirical evidence demonstrating the superiority of our method over existing alternatives. This proposed methodology establishes a foundation for transparency in human decision-making, carrying substantial implications for managerial duties, and offering potential for alleviating algorithmic biases when human decisions are used as labels to train algorithms.
Autores: Wanxue Dong, Maria De-arteaga, Maytal Saar-Tsechansky
Última atualização: 2024-12-10 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2411.18122
Fonte PDF: https://arxiv.org/pdf/2411.18122
Licença: https://creativecommons.org/licenses/by-nc-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://www.kaggle.com/datasets/uciml/adult-census-income
- https://archive-beta.ics.uci.edu/dataset/350/default+of+credit+card+clients
- https://www.kaggle.com/muhammadimran112233/employees-evaluation-for-promotion
- https://www.kaggle.com/code/iabhishekofficial/prediction-on-hospital-readmission
- https://cleanlab.ai/casestudies/