Reduciendo la Incertidumbre en la Toma de Decisiones en Grupo
Un nuevo flujo de trabajo aborda la incertidumbre en los juicios grupales a través de intervenciones específicas.
― 7 minilectura
Tabla de contenidos
Cuando la gente trabaja en grupos para tomar decisiones, a menudo se enfrenta a incertidumbre. Esta incertidumbre puede venir de diferentes fuentes, como confusión sobre la tarea o Desacuerdos entre los miembros del grupo. En muchos casos, los métodos actuales para lidiar con la incertidumbre se centran en hacer las instrucciones más claras. Sin embargo, este enfoque puede no ser suficiente ya que la incertidumbre puede surgir de varios factores.
En este artículo, presentamos un nuevo flujo de trabajo que busca reducir la incertidumbre en tareas de juicio grupal al enfocarse en fuentes específicas de incertidumbre. Nuestro enfoque mide diferentes tipos de incertidumbre durante una ronda inicial de juicio. Basándonos en estas mediciones, podemos aplicar intervenciones específicas que ayudan a reducir la incertidumbre donde más se necesita.
Probamos este flujo de trabajo en dos tareas comunes de juicio: evaluar similitudes de palabras y valorar la toxicidad de comentarios en línea. Nuestros hallazgos muestran que las intervenciones dirigidas realmente pueden reducir la incertidumbre, especialmente en los casos más inciertos. Al medir la Ambigüedad y el desacuerdo, pudimos proporcionar contexto o involucrarnos en discusiones para mejorar los resultados del juicio grupal.
Entendiendo la Incertidumbre en los Juicios Grupales
La incertidumbre es un desafío que a menudo aparece en tareas de juicio grupal. Cuando se le pide a los individuos dentro de un grupo que evalúen algo, pueden sentir incertidumbre por varias razones. Por ejemplo, una persona podría no entender completamente el ítem que está evaluando o podría tener una opinión diferente a la de otros en el grupo.
Por ejemplo, si los moderadores de la comunidad están decidiendo si eliminar un post dañino, pueden sentirse inseguros debido al lenguaje ambiguo o la intención detrás del post. Además, el trasfondo y las experiencias de cada moderador pueden llevar a desacuerdos sobre lo que constituye contenido dañino. De manera similar, en entornos educativos, los profesores podrían sentirse inseguros al calificar tareas que carecen de pautas claras. Pueden terminar confiando en su interpretación, lo que puede llevar a inconsistencias en la calificación.
Si la incertidumbre no se aborda durante el proceso de juicio, puede llevar a resultados poco confiables. Los sesgos debido a perspectivas diferentes pueden complicar aún más la situación. Para garantizar juicios grupales confiables, es crucial encontrar formas efectivas de medir y reducir la incertidumbre.
Fuentes de Incertidumbre
La incertidumbre en los juicios grupales se puede categorizar en dos fuentes principales: ambigüedad y desacuerdo.
Ambigüedad
La ambigüedad ocurre cuando los individuos no están seguros sobre su juicio debido a la falta de claridad respecto al ítem que se está evaluando. Por ejemplo, si a un grupo se le pide evaluar la similitud de dos palabras, pueden encontrar el concepto de "similitud" vago o abierto a interpretación. Esta incertidumbre puede llevar a rangos más amplios en sus evaluaciones.
En nuestro flujo de trabajo, cuantificamos la ambigüedad midiendo el tamaño de los rangos proporcionados por los anotadores. Un rango más amplio indica más incertidumbre o confusión, mientras que un rango más pequeño muestra un mayor nivel de confianza en su juicio.
Desacuerdo
El desacuerdo, por otro lado, se refiere a opiniones diferentes entre los miembros del grupo. Incluso si alguien tiene confianza en su juicio, podría no estar de acuerdo con otros en el grupo. Por ejemplo, si diferentes evaluadores están valorando la toxicidad de un comentario, sus interpretaciones variables de lo que constituye "tóxico" pueden llevar a desacuerdos.
En nuestro flujo de trabajo, definimos el desacuerdo en función del grado en que los rangos proporcionados por diferentes anotadores se superponen. Si los rangos no se superponen significativamente, sugiere un alto nivel de desacuerdo.
Intervenciones Dirigidas
Para abordar la incertidumbre observada en los juicios grupales, proponemos un nuevo flujo de trabajo que incorpora intervenciones específicas basadas en las fuentes de incertidumbre medidas. Este flujo de trabajo incluye varios pasos clave:
Recoger Juicios Iniciales: Reunir datos de juicio de los miembros del grupo usando una herramienta de anotación que capture la incertidumbre individual.
Medir Incertidumbre: Calcular puntuaciones de ambigüedad y desacuerdo para cada ítem que se esté evaluando.
Aplicar Intervenciones Dirigidas: Dependiendo de las puntuaciones, aplicar intervenciones específicas. Si un ítem tiene alta ambigüedad, proporcionamos contexto adicional. Si el ítem muestra alto desacuerdo, involucramos al grupo en discusiones para abordar perspectivas diferentes.
Incorporar Retroalimentación: Usar la retroalimentación y la información obtenida de las intervenciones para refinar la tarea y mejorar juicios futuros.
Implementación del Flujo de Trabajo
Reducción de Ambigüedad a través del Contexto
Cuando identificamos ítems con alta ambigüedad, nos enfocamos en reunir contexto adicional para proporcionar claridad. Por ejemplo, en nuestra tarea de similitud de palabras, ilustrar cómo se usan las palabras en oraciones puede minimizar la confusión.
En la tarea de toxicidad, proporcionar contexto sobre los comentarios padre ayuda a los anotadores a comprender mejor la situación que rodea un comentario potencialmente tóxico. El objetivo es asegurarse de que los anotadores tengan suficiente información para hacer juicios bien fundamentados.
Resolución de Desacuerdos a través de la Deliberación
Para ítems con desacuerdo significativo, invitamos a los miembros del grupo a participar en discusiones. Durante este proceso de deliberación, pueden expresar sus perspectivas y llegar a un acuerdo consensuado. Esta discusión ayuda a aclarar pautas y expectativas, llevando a juicios más alineados en evaluaciones futuras.
Resultados de la Implementación del Flujo de Trabajo
Después de aplicar nuestro flujo de trabajo a las dos tareas, encontramos reducciones significativas tanto en ambigüedad como en desacuerdo. En los casos donde la ambigüedad era alta, nuestras intervenciones de contexto redujeron la ambigüedad por porcentajes sustanciales, mostrando que proporcionar contexto adicional es una forma efectiva de aclarar incertidumbres.
En los casos donde el desacuerdo era prominente, la Intervención de deliberación llevó a una disminución notable en las puntuaciones de desacuerdo a medida que los miembros del grupo llegaron a un entendimiento compartido respecto a la tarea.
La Importancia de Enfoques Dirigidos
Aplicar intervenciones de manera dirigida es crucial. Cuando aplicamos intervenciones de manera uniforme en todos los casos, observamos que el enfoque llevó a compensaciones que a veces aumentaron la incertidumbre en áreas donde queríamos reducirla.
Este hallazgo enfatiza la importancia de entender la naturaleza específica de la incertidumbre en cada caso. Al enfocar esfuerzos donde más se necesitan, podemos mejorar la calidad del juicio de manera efectiva mientras minimizamos complicaciones potenciales que surgen de la aplicación indiscriminada de intervenciones.
Trabajo Futuro y Generalizabilidad
Aunque nuestro flujo de trabajo ha demostrado ser efectivo para reducir la incertidumbre en los juicios grupales, reconocemos que se necesita más trabajo para explorar su pleno potencial. Hay muchos otros dominios donde métodos similares podrían aplicarse, como en educación o en entornos de moderación comunitaria.
Sería valioso estudiar cómo estas intervenciones pueden adaptarse a diversas tareas y modalidades, lo que nos permitiría crear sistemas más robustos y eficientes para manejar la incertidumbre en la toma de decisiones grupales.
Conclusión
En resumen, la incertidumbre en los juicios grupales puede derivar de la ambigüedad y el desacuerdo. Al medir estas fuentes de incertidumbre y aplicar intervenciones específicas, podemos mejorar la calidad de las decisiones grupales. Nuestro flujo de trabajo ofrece un enfoque estructurado para abordar la incertidumbre, lo que puede llevar a resultados más confiables y consistentes en tareas que requieren juicio grupal.
La investigación futura debería continuar refinando estos métodos y explorar su aplicabilidad en diferentes campos para mejorar los procesos de toma de decisiones colaborativas.
Título: Judgment Sieve: Reducing Uncertainty in Group Judgments through Interventions Targeting Ambiguity versus Disagreement
Resumen: When groups of people are tasked with making a judgment, the issue of uncertainty often arises. Existing methods to reduce uncertainty typically focus on iteratively improving specificity in the overall task instruction. However, uncertainty can arise from multiple sources, such as ambiguity of the item being judged due to limited context, or disagreements among the participants due to different perspectives and an under-specified task. A one-size-fits-all intervention may be ineffective if it is not targeted to the right source of uncertainty. In this paper we introduce a new workflow, Judgment Sieve, to reduce uncertainty in tasks involving group judgment in a targeted manner. By utilizing measurements that separate different sources of uncertainty during an initial round of judgment elicitation, we can then select a targeted intervention adding context or deliberation to most effectively reduce uncertainty on each item being judged. We test our approach on two tasks: rating word pair similarity and toxicity of online comments, showing that targeted interventions reduced uncertainty for the most uncertain cases. In the top 10% of cases, we saw an ambiguity reduction of 21.4% and 25.7%, and a disagreement reduction of 22.2% and 11.2% for the two tasks respectively. We also found through a simulation that our targeted approach reduced the average uncertainty scores for both sources of uncertainty as opposed to uniform approaches where reductions in average uncertainty from one source came with an increase for the other.
Autores: Quan Ze Chen, Amy X. Zhang
Última actualización: 2023-05-02 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2305.01615
Fuente PDF: https://arxiv.org/pdf/2305.01615
Licencia: https://creativecommons.org/licenses/by-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.