Nova Abordagem para Mercados de Previsão de Resultados Não Verificáveis
Um novo modelo de mercado preditivo que coleta insights sem precisar de resultados verificados.
― 6 min ler
Índice
Os Mercados de Previsão são uma forma de reunir e combinar as crenças das pessoas sobre eventos futuros. Eles geralmente funcionam recompensando os participantes com base em quão precisas são as previsões deles. Mas algumas perguntas são difíceis ou impossíveis de verificar, porque a verdade pode ser complicada de acessar. Isso é comum em situações onde fazer testes não é prático ou ético, como entender os efeitos de certas políticas ou moderar conteúdo nas redes sociais.
Neste artigo, discutimos como criar um novo tipo de mercado de previsão que ainda possa reunir informações úteis, mesmo quando os resultados não podem ser verificados. Propomos pagar os participantes com base em como suas previsões se comparam às de um participante de referência selecionado, que tem acesso a mais informações. Esse método permite criar uma situação onde os participantes são incentivados a serem honestos em suas previsões.
O Desafio dos Resultados Não Verificáveis
Em muitos casos, quem toma decisões precisa de informações para fazer escolhas, mas os fatos podem não estar claros ou serem muito caros de confirmar. Por exemplo, os formuladores de políticas frequentemente sugerem programas sem saber totalmente os efeitos a longo prazo. Eles podem implementar novas leis ou iniciativas, mas os verdadeiros impactos podem levar anos para aparecer. Da mesma forma, nas redes sociais, as empresas precisam determinar se o conteúdo viola regras, mas verificar a verdade pode ser complicado.
Muitas vezes, para fazer as melhores suposições nessas situações incertas, os tomadores de decisão coletam insights de várias fontes. No entanto, combinar informações de diferentes indivíduos enquanto garante Honestidade é complicado. Os participantes podem não querer compartilhar suas verdadeiras crenças se acharem que suas previsões não serão recompensadas ou se não tiverem certeza sobre a confiabilidade de suas informações.
Nossa Solução Proposta
Sugerimos lançar um mercado de previsão auto-resolutivo que possa reunir e combinar crenças de forma eficaz, sem precisar de resultados verificados. Esse mercado permite que os participantes façam previsões e sejam recompensados com base em quão próximas suas previsões estão das do participante de referência.
O participante de referência é escolhido com cuidado, tendo acesso a informações relevantes. Assim, conseguimos criar um sistema onde todos têm um incentivo para dizer a verdade, já que suas recompensas serão baseadas em quão bem suas previsões se alinham com as do participante de referência.
Estrutura do Mercado
No nosso mercado preditivo, os agentes submetem suas previsões um após o outro. Depois que cada previsão é feita, há uma chance de que o mercado acabe e os resultados sejam decididos. Se o mercado continuar, apenas os últimos participantes receberão uma taxa fixa, independentemente de suas previsões. No entanto, todos os outros agentes serão compensados com base em como suas previsões se comparam à do último participante.
Esse design incentiva os agentes a pensarem cuidadosamente sobre como devem relatar suas previsões. Como a última previsão tem peso, os participantes são levados a relatar suas verdadeiras crenças em vez de simplesmente imitar outros para ganhar uma recompensa.
Por Que Isso Funciona
A ideia principal por trás desse mercado auto-resolutivo é que ele pode funcionar de forma eficaz sem precisar verificar resultados. Tendo um participante de referência que possui mais informações, podemos guiar os outros participantes para previsões informativas. Esse arranjo promove relatórios honestos, já que os agentes sabem que suas recompensas dependerão da qualidade de suas previsões em relação ao agente de referência.
Insights Técnicos
Nossa abordagem se baseia em teorias estabelecidas sobre compartilhamento de informações e construção de consenso. Ela aproveita a ideia de que se os agentes fornecerem previsões honestas, eles podem moldar as crenças dos outros durante o processo de fazer previsões. Mostramos que, quando estruturado corretamente, o mercado permite que todos os agentes deem suas contribuições de uma forma que leve a uma agregação útil de suas crenças.
Sistema de Pagamento
O método de pagamento que recomendamos garante que os agentes sejam recompensados com base em quão bem eles se alinham com a previsão do agente de referência. Embora a mecânica exata possa ser complexa, a essência é simples: quanto mais próxima a previsão de um agente estiver da crença do agente de referência, mais eles ganham.
Esse sistema de pontuação é vital para garantir que os participantes se sintam motivados a compartilhar suas verdadeiras crenças. Para promover isso, estabelecemos parâmetros que limitam o potencial de os agentes lucrar ao relatar desonestamente.
Aplicações Potenciais
O mercado de previsão auto-resolutivo pode ser útil em várias áreas. Por exemplo, ele pode ajudar em discussões de políticas públicas, permitindo que os formuladores de políticas obtenham insights de diferentes pontos de vista sem precisar verificar cada Informação.
No mundo das redes sociais, esse mercado pode servir como uma ferramenta para moderação de conteúdo, ajudando plataformas a decidir qual conteúdo atende às suas diretrizes com base em previsões coletivas em vez de julgamentos individuais.
Até mesmo na pesquisa científica, um mercado desse tipo pode ajudar pesquisadores a formarem hipóteses ou fazer previsões sobre os resultados de estudos de longo prazo com base no input da comunidade, aproveitando conhecimento que poderia passar despercebido de outra forma.
Conclusão
Em resumo, nossos mercados de previsão auto-resolutivos são projetados para agregar crenças de forma eficaz quando os resultados são não verificáveis. Ao utilizar um participante de referência para guiar as recompensas, mantemos incentivos para a honestidade e eficácia entre os agentes. Esse modelo pode ser aplicado em vários setores, ajudando os tomadores de decisão a obter melhores informações sem os desafios dos mercados de previsão tradicionais que dependem de resultados verificados.
Com essa abordagem inovadora, esperamos transformar a maneira como as previsões são coletadas e utilizadas em processos complexos de tomada de decisão.
Título: Self-Resolving Prediction Markets for Unverifiable Outcomes
Resumo: Prediction markets elicit and aggregate beliefs by paying agents based on how close their predictions are to a verifiable future outcome. However, outcomes of many important questions are difficult to verify or unverifiable, in that the ground truth may be hard or impossible to access. Examples include questions about causal effects where it is infeasible or unethical to run randomized trials; crowdsourcing and content moderation tasks where it is prohibitively expensive to verify ground truth; and questions asked over long time horizons, where the delay until the realization of the outcome skews agents' incentives to report their true beliefs. We present a novel and unintuitive result showing that it is possible to run an $\varepsilon-$incentive compatible prediction market to elicit and efficiently aggregate information from a pool of agents without observing the outcome by paying agents the negative cross-entropy between their prediction and that of a carefully chosen reference agent. Our key insight is that a reference agent with access to more information can serve as a reasonable proxy for the ground truth. We use this insight to propose self-resolving prediction markets that terminate with some probability after every report and pay all but a few agents based on the final prediction. We show that it is an $\varepsilon-$Perfect Bayesian Equilibrium for all agents to report truthfully in our mechanism and to believe that all other agents report truthfully. Although primarily of interest for unverifiable outcomes, this design is also applicable for verifiable outcomes.
Autores: Siddarth Srinivasan, Ezra Karger, Yiling Chen
Última atualização: 2023-06-07 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2306.04305
Fonte PDF: https://arxiv.org/pdf/2306.04305
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.