Reduzindo a Inconsistência nas Decisões de Avaliação Imobiliária
Um estudo sobre como usar ferramentas algorítmicas pra melhorar a consistência das decisões nos preços de imóveis.
― 5 min ler
Índice
A galera muitas vezes não toma decisões de forma consistente. Isso significa que a mesma pessoa pode fazer escolhas diferentes em momentos diferentes, e pessoas diferentes podem ter opiniões bem distintas mesmo olhando a mesma informação. Essa inconsistência pode rolar em várias áreas, como avaliações de trabalho, avaliações de imóveis e até em revisões de pesquisas científicas.
No nosso estudo, a gente investigou formas de ajudar as pessoas a tomarem decisões mais consistentes, especialmente na avaliação de imóveis. A gente explorou se usar ferramentas de decisão algorítmica-que ajudam as pessoas a escolher-pode reduzir essa inconsistência. Nossa pesquisa envolveu um experimento grande com participantes humanos, e testamos como diferentes tipos de ajuda influenciaram a forma como as pessoas avaliavam os preços de imóveis.
Contexto
Pesquisas mostraram que os julgamentos humanos podem variar bastante. Mesmo recebendo a mesma informação, pessoas diferentes podem chegar a conclusões diferentes. Essa inconsistência pode ser um problema em várias áreas, como no direito, onde casos similares deveriam ser tratados da mesma forma.
Enquanto algumas variações de opinião podem ser valiosas-refletindo experiências e perspectivas individuais-em muitos casos, a consistência é desejável. Por exemplo, bancos e seguradoras esperam uniformidade na forma como as pessoas avaliam casos similares. Na comunidade científica, o processo de revisão por pares levanta preocupações sobre as diferenças em como os revisores avaliam o mesmo artigo.
A gente queria entender como poderíamos reduzir a inconsistência na tomada de decisão humana usando suporte algorítmico. Essa pesquisa pode ajudar a organizar tarefas entre vários tomadores de decisão sem perder a consistência.
Design Experimental
Realizamos um experimento em larga escala onde os participantes estimaram preços de imóveis. Criamos cinco condições diferentes pra ver como as pessoas reagiam a várias abordagens para revisar suas estimativas:
- Condição T1: Os participantes revisaram suas estimativas uma por uma, sem ajuda.
- Condição T2: Os participantes revisaram suas estimativas uma por uma, mas receberam conselhos tradicionais de máquinas.
- Condição T3: Os participantes revisaram suas estimativas em comparações pareadas escolhidas aleatoriamente.
- Condição T4: Os participantes revisaram suas estimativas em comparações pareadas significativas, sem conselhos diretos.
- Condição T5: Os participantes revisaram suas estimativas em comparações pareadas significativas com conselhos de máquinas.
Os participantes começaram estimando os preços de vários apartamentos. Depois, revisaram suas estimativas com base nas diferentes condições experimentais.
Principais Descobertas
Atualizando Decisões
Nossas descobertas mostraram que as pessoas estavam mais propensas a mudar suas estimativas iniciais quando tinham ajuda. Nas condições T2, T4 e T5, os participantes atualizaram suas estimativas com mais frequência do que na condição controle (T1). A influência mais forte veio do conselho tradicional de máquinas em T2, onde os participantes atualizaram um número significativo de decisões.
Precisão das Decisões
Em seguida, medimos quão precisas eram as estimativas após a fase de revisão. As condições T2, T4 e T5 levaram a estimativas mais precisas em comparação ao baseline (T1). Os participantes que receberam conselhos de máquinas mostraram a maior melhora.
Consistência Entre Participantes
Também olhamos como as decisões eram consistentes entre os diferentes participantes. Os resultados indicaram que as condições T2, T4 e T5 causaram um aumento na consistência entre as estimativas de diferentes respondentes. O uso de assistência algorítmica parecia aumentar o acordo sobre as estimativas de preços entre os participantes.
Discussão dos Resultados
Conselho de Máquinas
O conselho tradicional de máquinas na condição T2 foi eficaz em ajudar as pessoas a refinarem suas estimativas de preços. Isso se alinha com pesquisas existentes, que sugerem que quando as pessoas recebem informações precisas de máquinas, elas tendem a confiar e se apoiar mais nisso.
Comparações Pareadas
Ao comparar decisões em pares (como na T3), descobrimos que pares escolhidos aleatoriamente não melhoraram a precisão ou a consistência. Porém, quando os participantes revisaram pares significativos (T4 e T5), eles tomaram decisões melhores e mais consistentes. Isso enfatiza a importância de guiar como as comparações são feitas.
Implicações para Pesquisas Futuras
Nossas descobertas têm implicações além da avaliação de imóveis. O uso de assistência algorítmica pode se aplicar a qualquer processo de tomada de decisão onde a consistência é valorizada. A abordagem de comparações significativas abre novas avenidas para melhorar estruturas de decisão em várias áreas.
Conclusão
Nossa pesquisa demonstra que a assistência algorítmica pode ajudar a reduzir incoerências na tomada de decisões humanas. Ao fornecer comparações significativas e conselhos tradicionais, a gente pode melhorar a qualidade e a consistência das decisões. À medida que as ferramentas de tomada de decisão evoluem, devemos continuar explorando o potencial dos algoritmos para apoiar as escolhas humanas, enquanto preservamos a valiosa diversidade de opiniões.
Título: (De)Noise: Moderating the Inconsistency Between Human Decision-Makers
Resumo: Prior research in psychology has found that people's decisions are often inconsistent. An individual's decisions vary across time, and decisions vary even more across people. Inconsistencies have been identified not only in subjective matters, like matters of taste, but also in settings one might expect to be more objective, such as sentencing, job performance evaluations, or real estate appraisals. In our study, we explore whether algorithmic decision aids can be used to moderate the degree of inconsistency in human decision-making in the context of real estate appraisal. In a large-scale human-subject experiment, we study how different forms of algorithmic assistance influence the way that people review and update their estimates of real estate prices. We find that both (i) asking respondents to review their estimates in a series of algorithmically chosen pairwise comparisons and (ii) providing respondents with traditional machine advice are effective strategies for influencing human responses. Compared to simply reviewing initial estimates one by one, the aforementioned strategies lead to (i) a higher propensity to update initial estimates, (ii) a higher accuracy of post-review estimates, and (iii) a higher degree of consistency between the post-review estimates of different respondents. While these effects are more pronounced with traditional machine advice, the approach of reviewing algorithmically chosen pairs can be implemented in a wider range of settings, since it does not require access to ground truth data.
Autores: Nina Grgić-Hlača, Junaid Ali, Krishna P. Gummadi, Jennifer Wortman Vaughan
Última atualização: 2024-07-15 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2407.11225
Fonte PDF: https://arxiv.org/pdf/2407.11225
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.