Mejorando la comprensión de la IA a través de la inclusividad
Este estudio explora cómo los estilos de resolución de problemas mejoran el compromiso de los usuarios con los sistemas de XAI.
― 7 minilectura
Tabla de contenidos
Los sistemas de Inteligencia Artificial Explicable (XAI) están diseñados para ayudar a los usuarios a entender cómo funciona la IA. Sin embargo, muchos de estos sistemas no toman en cuenta las diferentes maneras en que las personas piensan y resuelven problemas. Esto puede dificultar que algunos usuarios se beneficien de las explicaciones que ofrecen estos sistemas de IA. Este estudio examina cómo se pueden utilizar diferentes estilos de resolución de problemas para mejorar un sistema XAI. Realizamos un estudio con 69 participantes para ver si hacer el sistema más inclusivo ayudaba a los usuarios a conectarse mejor con las explicaciones y mejoraba su comprensión de la IA.
La Importancia de la Inclusividad en la IA
La inclusividad en la IA significa asegurarse de que todos puedan entender y usar estos sistemas, sin importar su trasfondo o habilidades. A medida que la IA se vuelve más común, es crucial considerar cómo grupos diversos de usuarios interactúan con ella. Simplemente mejorar las explicaciones para un grupo puede no funcionar para otros. Al observar diferentes estilos de resolución de problemas, podemos crear sistemas de IA que sean más comprensibles para un rango más amplio de usuarios. Este documento tiene como objetivo averiguar si centrarse en los estilos de resolución de problemas puede ayudar a hacer que los sistemas XAI sean mejores para más personas.
Entendiendo los Modelos mentales
Un modelo mental representa cómo un usuario cree que funciona un sistema de IA. Se basa en sus experiencias y entendimiento del mundo. En XAI, el objetivo es ayudar a los usuarios a construir modelos mentales correctos para que puedan confiar e interactuar de manera efectiva con la IA. A medida que la tecnología de IA se expande, entender cómo funcionan estos sistemas puede ser más difícil, especialmente para los usuarios comunes. Buenas explicaciones pueden ayudar a los usuarios a desarrollar los modelos mentales correctos de los sistemas de IA. Usando un diseño inclusivo, esperamos crear mejores explicaciones que se adapten a una variedad de usuarios.
Estilos de Resolución de Problemas Diversos
Cuando hablamos de estilos de resolución de problemas diversos, nos referimos a las diferentes maneras en que las personas abordan la resolución de tareas o comprenden sistemas. Algunos usuarios pueden asumir más riesgos, mientras que otros prefieren ser más cautelosos. Algunos pueden disfrutar aprender mediante prueba y error, mientras que otros buscan pautas claras e información estructurada. Reconocer estas diferencias es esencial para crear mejores sistemas XAI.
Investigación Previa en la Interacción Humano-IA
La investigación sobre la interacción humano-IA se ha centrado en cómo las personas pueden trabajar de manera efectiva con sistemas de IA. Si bien entender el rendimiento del usuario y la confiabilidad del sistema es importante, el papel de las diferencias individuales en los estilos de resolución de problemas ha recibido menos atención. Estudios han demostrado que los usuarios tienen diferentes preferencias por las explicaciones, lo que puede afectar su comprensión de la IA. Nuestro objetivo es abordar esta brecha explorando cómo los diferentes estilos de resolución de problemas influyen en las interacciones de los usuarios con un sistema de IA.
El Estudio: Evaluando un Prototipo XAI
Para probar nuestras ideas, utilizamos un prototipo XAI que simulaba un juego de Tres en Raya jugado por dos agentes de IA. Los participantes se dividieron en dos grupos, con un grupo usando la versión original del prototipo y el otro usando una versión rediseñada que abordaba problemas de inclusividad. Queríamos ver si la versión rediseñada conducía a un mejor Compromiso de los usuarios con las explicaciones y mejoraba sus modelos mentales.
Preguntas de Investigación
Nos centramos en tres preguntas clave durante nuestro estudio:
- ¿El uso de explicaciones impactó la comprensión de los participantes sobre el sistema de IA?
- ¿Qué grupo de participantes se comprometió más con las explicaciones del sistema?
- ¿Los participantes en el grupo rediseñado demostraron una mejor comprensión del razonamiento de la IA?
Reclutamiento de Participantes
Para reclutar participantes para el estudio, utilizamos volantes y correos electrónicos que invitaban a los estudiantes a participar. Buscamos incluir personas de diversos trasfondos y disciplinas académicas. Después de un examen de elegibilidad, 69 participantes formaron parte del estudio.
Procedimiento del Estudio
Los participantes se dividieron en dos grupos: el grupo original y el grupo rediseñado. Cada grupo fue asignado a sesiones donde interactuaron con el prototipo XAI. Durante las sesiones, los participantes completaron encuestas para evaluar sus estilos de resolución de problemas y recibieron un tutorial sobre cómo usar el juego. Luego jugaron varios juegos mientras predecían los movimientos de los agentes de IA y razonaban sobre sus elecciones.
Midiendo el Compromiso y la Comprensión
Para evaluar qué tan bien los participantes entendieron el sistema de IA, analizamos sus interacciones con las explicaciones proporcionadas por el prototipo. Queríamos ver si un mayor compromiso con las explicaciones llevaba a mejores modelos mentales. Encontramos que los participantes que usaron las explicaciones con más frecuencia generalmente tuvieron mejores puntuaciones en la comprensión de la IA.
Análisis de Resultados
Nuestro análisis mostró que los participantes en el grupo rediseñado se comprometieron más con las explicaciones en comparación con aquellos en el grupo original. Este aumento en el compromiso estaba relacionado con las soluciones de inclusividad realizadas en el prototipo XAI. Como resultado, los participantes en el grupo rediseñado demostraron una comprensión significativamente mejor en comparación con los del grupo original.
Soluciones para la Inclusividad
Para mejorar la inclusividad, aplicamos un método llamado GenderMag, que identifica y aborda errores de inclusividad en software. Este método examina cómo los diferentes estilos de resolución de problemas pueden afectar las interacciones de los usuarios. Implementamos varias soluciones basadas en este enfoque, buscando ayudar a un rango más amplio de usuarios a comprometerse efectivamente con las explicaciones proporcionadas por la IA.
El Papel de las Explicaciones en la Comprensión
Nuestros hallazgos destacaron que las explicaciones ofrecidas por el prototipo XAI jugaron un papel crucial en la formación de los modelos mentales de los participantes. Los participantes que pudieron seguir y dar sentido a las explicaciones tuvieron una comprensión significativamente mejor del comportamiento y los procesos de toma de decisiones de la IA.
El Impacto de Soluciones Específicas
Algunas de las soluciones clave identificadas usando el método GenderMag incluyeron:
- Proporcionar leyendas para series de datos para ayudar a los usuarios a diferenciar entre múltiples movimientos.
- Ofrecer valores de puntuación exactos en las explicaciones para clarificar las decisiones de la IA.
- Incluir funciones que permitieran a los usuarios comparar los movimientos de mayor rango realizados por la IA.
Implicaciones para el Diseño
Nuestro estudio sugiere que usar principios de diseño inclusivo puede ayudar a crear sistemas de IA más efectivos que atiendan a un rango más amplio de usuarios. Al centrarse en los diversos estilos de resolución de problemas de los usuarios, podemos mejorar el compromiso del usuario y mejorar los modelos mentales, lo que en última instancia lleva a una mejor comprensión de cómo operan los sistemas de IA.
Direcciones Futuras
La investigación futura debería seguir explorando cómo los diferentes estilos de resolución de problemas pueden informar el diseño de sistemas de IA. Al recopilar más datos sobre las experiencias de los usuarios, podemos identificar formas adicionales de mejorar la inclusividad y efectividad del sistema. Además, es vital probar estos hallazgos en varios contextos y grupos de usuarios para asegurarnos de que los beneficios del diseño inclusivo se puedan realizar ampliamente.
Conclusión
Este estudio muestra la importancia de considerar la inclusividad en el diseño de sistemas de IA. Al centrarse en los diversos estilos de resolución de problemas de los usuarios e implementar soluciones para aumentar el compromiso, podemos mejorar la comprensión y la confianza en la IA. Los hallazgos subrayan el beneficio de usar enfoques de diseño inclusivo en la creación de sistemas de IA accesibles y efectivos que atiendan a una amplia gama de usuarios.
Título: Inclusive Design of AI's Explanations: Just for Those Previously Left Out, or for Everyone?
Resumen: Motivations: Explainable Artificial Intelligence (XAI) systems aim to improve users' understanding of AI, but XAI research shows many cases of different explanations serving some users well and being unhelpful to others. In non-AI systems, some software practitioners have used inclusive design approaches and sometimes their improvements turned out to be "curb-cut" improvements -- not only addressing the needs of underserved users, but also making the products better for everyone. So, if AI practitioners used inclusive design approaches, they too might create curb-cut improvements, i.e., better explanations for everyone. Objectives: To find out, we investigated the curb-cut effects of inclusivity-driven fixes on users' mental models of AI when using an XAI prototype. The prototype and fixes came from an AI team who had adopted an inclusive design approach (GenderMag) to improve their XAI prototype. Methods: We ran a between-subject study with 69 participants with no AI background. 34 participants used the original version of the XAI prototype and 35 used the version with the inclusivity fixes. We compared the two groups' mental model concepts scores, prediction accuracy, and inclusivity. Results: We found four main results. First, it revealed several curb-cut effects of the inclusivity fixes: overall increased engagement with explanations and better mental model concepts scores, which revealed fixes with curb-cut properties. However (second), the inclusivity fixes did not improve participants' prediction accuracy scores -- instead, it appears to have harmed them. This "curb-fence" effect (opposite of the curb-cut effect) revealed the AI explanations' double-edged impact. Third, the AI team's inclusivity fixes brought significant improvements for users whose problem-solving styles had previously been underserved. Further (fourth), the AI team's fixes reduced the gender gap by 45%.
Autores: Md Montaser Hamid, Fatima Moussaoui, Jimena Noa Guevara, Andrew Anderson, Puja Agarwal, Jonathan Dodge, Margaret Burnett
Última actualización: 2024-12-02 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2404.13217
Fuente PDF: https://arxiv.org/pdf/2404.13217
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.