Reuniendo opiniones de expertos para evaluar la incertidumbre

En campos como matemáticas, informática y psicología, los expertos a menudo enfrentan situaciones inciertas. Una forma de lidiar con esta incertidumbre es usar una distribución previa, que es una manera de expresar lo que sabemos antes de ver nuevas evidencias. Este artículo habla sobre un método que ayuda a recoger esta distribución previa a partir de la toma de decisiones de expertos.

#La necesidad de la opinión de expertos

Los expertos son clave en áreas donde la información es limitada, como predecir eventos raros. Por ejemplo, si hay que decidir si alguien volverá a cometer un crimen después de ser liberado de prisión, los expertos pueden dar insights basados en su experiencia. Sin embargo, recopilar este conocimiento puede ser difícil. Muchos métodos existentes requieren que los expertos tengan un conocimiento profundo de probabilidad y estadística, lo cual no todos poseen.

#Métodos actuales de elicitar previas

Hay varios métodos para obtener Distribuciones Previas de los expertos. Estos caen en tres categorías generales:

1. Métodos directos: Este enfoque implica preguntar directamente a los expertos sobre distribuciones de probabilidad. Suena simple, pero puede ser complicado para los expertos que tal vez no entienden completamente la teoría de probabilidad.

2. Métodos indirectos: Estos métodos hacen preguntas que son más fáciles de entender y no requieren un conocimiento estadístico profundo. Por ejemplo, se puede pedir a un experto que apueste sobre cuál resultado cree que es más probable.

3. Métodos gráficos: Herramientas visuales pueden ayudar a expresar probabilidades, pero también pueden resultar confusas para los expertos.

A pesar de su utilidad, estos métodos actuales tienen sus problemas. Por ejemplo, al usar métodos directos, la forma en que se plantea una pregunta puede guiar sin querer la respuesta del experto, introduciendo sesgo. Además, solo preguntar sobre situaciones hipotéticas puede no llevar a distribuciones precisas, ya que esas situaciones no tienen consecuencias reales.

#Complejidades de los Sesgos de expertos

Usar opiniones de expertos también trae desafíos relacionados con sesgos. Un experto puede tener sesgos basados en sus experiencias, como dar más importancia a eventos que ha visto recientemente o estar influenciado por opiniones sociales. Las discusiones grupales para llegar a un consenso también pueden llevar al "pensamiento grupal", donde los individuos evitan expresar opiniones diferentes por mantener la armonía.

Algunos métodos intentan combinar las opiniones individuales de los expertos matemáticamente para evitar sesgos que pueden surgir en entornos grupales. Otros usan datos pasados de situaciones similares, pero esto también puede llevar sus propios sesgos.

#Introducción de un nuevo método

El artículo presenta un nuevo método para ayudar a recopilar distribuciones previas de manera más efectiva. Este método se centra en los procesos de toma de decisiones pasados de los expertos. Al modelar estas decisiones, podemos obtener mejores insights sobre sus procesos de pensamiento y las Incertidumbres que enfrentan.

La ventaja de este método es que no depende del conocimiento estadístico del experto; utiliza sus tareas de toma de decisiones en la vida real, que tienen apuestas reales asociadas. De esta manera, el modelo busca capturar el pensamiento del experto de manera más precisa que los métodos que usan escenarios hipotéticos.

#Elicitar incertidumbre a partir de la toma de decisiones

El nuevo método tiene como objetivo extraer incertidumbre relacionada con eventos futuros no deseados, como predecir si alguien cometerá un crimen después de ser liberado. Los expertos suelen considerar varios factores antes de tomar una decisión preventiva, que está estrechamente relacionada con el evento. Al modelar sus decisiones pasadas, podemos entender cómo perciben los riesgos y las incertidumbres.

El proceso de toma de decisiones debería ser repetitivo para que haya suficientes datos para un análisis significativo. La relación entre la decisión tomada y la información disponible es clave para este enfoque.

#Ejemplo: Decisiones de libertad condicional

Para ilustrar el nuevo método, tomemos el ejemplo de una junta de libertad condicional decidiendo si otorgar la liberación anticipada a un prisionero. La junta revisa el caso de un prisionero y considera muchos factores antes de tomar esta decisión. Al analizar estas decisiones pasadas, podemos estimar la probabilidad de reincidencia o reofender para el individuo.

El resultado de si se otorga o no la libertad condicional puede servir como un indicador aproximado del riesgo que la junta asocia con el prisionero. Si no se otorga la libertad condicional, a menudo indica un mayor riesgo de reincidencia.

#Modelando la toma de decisiones

Usar datos reales de decisiones de juntas de libertad condicional puede ayudar a los expertos a estimar cuán probable es que un individuo cometa un crimen nuevamente. Al aplicar un modelo estadístico a estas decisiones pasadas, podemos obtener una distribución de probabilidad que refleje el conocimiento previo del experto sobre la reincidencia.

No solo buscamos predecir resultados, sino modelar la toma de decisiones de los expertos con precisión. Esto significa capturar sus incertidumbres y reflejarlas en las probabilidades.

#Evaluando el rendimiento del modelo

Para asegurar que el método funcione efectivamente, es importante evaluar cuán bien el modelo imita la toma de decisiones de los expertos. El modelo debería mostrar más incertidumbre al encontrar nueva información y ser más confiado al mirar datos familiares.

Se pueden usar diversas medidas para comprobar la precisión del modelo. Esto incluye cuán bien predice los resultados basados en los datos disponibles. Si el modelo muestra patrones similares a las decisiones reales de los expertos, se puede considerar confiable.

#Ejemplo de elicitar una distribución previa

Otro ejemplo es mirar a los prisioneros y predecir cuáles pueden cometer un crimen después de ser liberados. La junta de libertad condicional tiene informes sobre cada prisionero que ofrecen detalles como su comportamiento en prisión, antecedentes y otros factores significativos. Usando esta información, podemos modelar el proceso de toma de decisiones y derivar una distribución de probabilidad para la reincidencia de cada prisionero individual.

Este nuevo método permite una comprensión más precisa de cuán probable es que un prisionero vuelva a delinquir basándose en decisiones anteriores tomadas por la junta de libertad condicional.

#Considerando variables influyentes

En el proceso de elicitar una distribución previa, es crucial evaluar qué variables pueden estar influyendo en la toma de decisiones. Factores como la etnicidad, género y edad pueden a veces impactar las decisiones más de lo que deberían.

Al analizar los datos, podemos determinar si estas variables están sesgando los resultados. Por ejemplo, si eliminar la etnicidad del modelo afecta negativamente la precisión, sugiere que este factor juega un papel en el proceso de toma de decisiones.

Esta información puede ayudar a los analistas a entender sesgos y posiblemente mejorar el proceso de toma de decisiones en el futuro.

#Limitaciones y direcciones futuras

A pesar del potencial del nuevo método, hay limitaciones. La dependencia de datos tabulares puede restringir la amplitud del análisis. Un informe sobre un prisionero podría contener información cualitativa adicional que proporcionaría más insights, pero que puede no ser capturada en formas de datos simples.

Además, este método principalmente considera resultados binarios, pero hay muchas situaciones en las que las decisiones pueden involucrar opciones más complejas. Los trabajos futuros deberían explorar cómo acomodar estas situaciones y refinar la metodología para mejorar su efectividad.

#Conclusión

Elicitar distribuciones previas a través de procesos de toma de decisiones de expertos ofrece una forma prometedora de abordar la incertidumbre en situaciones complejas. El nuevo método puede ayudar a los analistas a recopilar insights de expertos sin requerir un conocimiento estadístico profundo. Este enfoque es beneficioso en varios campos, particularmente donde las decisiones de expertos tienen implicaciones en el mundo real.

Se necesitará más investigación para mejorar la practicidad y adaptabilidad del método, mientras se asegura la precisión de las distribuciones previas. Al considerar variables influyentes, los analistas pueden refinar aún más su comprensión y abordar posibles sesgos que puedan afectar los procesos de toma de decisiones. Este trabajo continuo en la elicitar previas contribuirá significativamente a mejorar cómo se toman decisiones en contextos inciertos.