Entendiendo las características del usuario en la IA explicable

A medida que la Inteligencia Artificial (IA) se convierte en parte de nuestra vida diaria, la necesidad de una IA explicable (XAI) crece. La gente quiere confiar en los sistemas de IA y entender cómo funcionan. Diferentes tipos de usuarios, como científicos de datos y personas comunes, interactúan con la IA de varias maneras, lo que hace complicado crear explicaciones que sirvan para todos.

Estudios recientes han comenzado a investigar cómo diferentes rasgos de los usuarios, como la edad, la experiencia y la personalidad, afectan la comprensión y la Confianza que tienen en las explicaciones de la IA. Esto plantea una pregunta: ¿estamos enfocándonos demasiado en detalles menores? Nuestra investigación tuvo como objetivo ver cómo se relacionan los rasgos de los usuarios con el uso, comprensión y confianza en una IA que proporciona explicaciones. Hicimos un estudio con 149 participantes que interactuaron con un sistema XAI que identificaba comentarios inapropiados. Sorprendentemente, encontramos que solo dos rasgos-edad y apertura-fueron significativos para ayudar a los usuarios a entender el sistema.

#La Importancia de la IA Explicable

Las aplicaciones de IA están en todos lados hoy en día. Desde filtrar correos spam hasta decidir la elegibilidad para préstamos, la IA se está volviendo esencial. Este crecimiento rápido hace que sea vital que los sistemas de IA sean transparentes. La gente necesita entender cómo se toman las decisiones, especialmente porque estas decisiones pueden afectar significativamente sus vidas.

En respuesta a esta necesidad, la XAI ha desarrollado métodos para brindar explicaciones claras. Estas explicaciones pueden ser generales, dando un resumen del funcionamiento de la IA, o específicas, mostrando cómo se toman decisiones para casos individuales. Al ofrecer estas explicaciones, los sistemas de IA ayudan a los usuarios a construir modelos mentales precisos, mejorando su confianza y comprensión de la tecnología.

Sin embargo, está quedando claro que cómo la gente recibe estas explicaciones puede depender de sus características individuales. Rasgos como la edad, género, personalidad y experiencia previa pueden influir en cómo se perciben las explicaciones. Investigaciones anteriores han mostrado que estos factores pueden afectar las preferencias de los usuarios por ciertos tipos de explicaciones y su confianza general en los sistemas de IA. Algunos estudios incluso sugieren que personalizar las explicaciones para adaptarse a los rasgos del usuario podría mejorar su efectividad.

#El Desafío de las Características del usuario

En los últimos años, ha habido un impulso para personalizar las explicaciones de la IA basándose en los rasgos del usuario. Se han estudiado características como la edad, género y personalidad para ver cómo pueden mejorar la experiencia del usuario con la IA. Hemos aprendido que los rasgos de personalidad pueden influenciar cómo reaccionan las personas a las recomendaciones y a las interacciones interpersonales con la tecnología.

Por ejemplo, la experiencia previa con la IA podría afectar el comportamiento de búsqueda y cómo los usuarios interactúan con los sistemas de IA. Estas ideas han llevado a algunos investigadores a creer que entender las características del usuario podría ayudar a crear mejores explicaciones más adaptadas en los sistemas de XAI.

A pesar de esto, nuestra comprensión del efecto de las características del usuario en las explicaciones de la IA todavía es limitada. Para investigar, establecimos un estudio para ver si factores como la edad, el género, la personalidad y la experiencia previa afectan cómo los usuarios se involucran con, entienden y confían en las explicaciones de la IA.

#Nuestras Preguntas de Investigación

Para guiar nuestro estudio, desarrollamos varias preguntas de investigación centradas en la relación entre las características del usuario y sus interacciones con las explicaciones de la XAI. Queríamos explorar cómo estos rasgos influían en el Compromiso, comprensión y confianza de los usuarios.

#Nuestro Enfoque

Para nuestro estudio, creamos un sistema de IA interactivo que señalaba comentarios inapropiados. Reclutamos a 149 participantes para interactuar con este prototipo y registramos sus interacciones. Cada participante proporcionó retroalimentación sobre las explicaciones dadas por el sistema de IA. Al examinar la edad, el género, la experiencia previa y los rasgos de personalidad, buscamos recopilar datos que pudieran ayudarnos a responder nuestras preguntas de investigación.

Hicimos tres contribuciones clave:

1. Desarrollamos un prototipo para señalar comentarios inapropiados y recoger datos de interacción del usuario.
2. Utilizamos una gran cantidad de participantes para investigar las características que influyen en el compromiso y comprensión de las explicaciones.
3. Proporcionamos evidencia que sugiere que solo la edad y la apertura afectaron significativamente la comprensión real de los usuarios sobre el sistema de IA.

#El Conjunto de Datos

Para nuestra investigación, utilizamos el conjunto de datos Jigsaw, que contiene comentarios etiquetados por comportamiento tóxico. Filtramos estos datos para asegurarnos de que los comentarios presentados a nuestros participantes fueran apropiados y comprensibles. Después de procesar, presentamos 100 comentarios a nuestros usuarios para evaluar.

#El Modelo de IA

Empleamos un modelo de IA preentrenado llamado Detoxify, que está diseñado para clasificar comentarios como tóxicos o no tóxicos. Este modelo fue efectivo para nuestro estudio y proporcionó la base para generar explicaciones con Explanaciones Localmente Interpretables Agnósticas al Modelo (LIME).

Usando LIME, pudimos brindar a los participantes una lista de las diez palabras más importantes que influyeron en la decisión de la IA sobre cada comentario. Esto permitió a los usuarios ver cómo palabras específicas afectaron la clasificación de la IA.

#La Interfaz del Prototipo

La interfaz de nuestro prototipo mostraba una lista de comentarios para que los usuarios revisaran. Cuando un usuario seleccionaba un comentario, podía ver el texto, la etiqueta predicha (tóxico/no tóxico) y una representación visual de las palabras más importantes que llevaron a esta predicción. Los usuarios tenían la capacidad de dar retroalimentación, sugiriendo nuevas palabras importantes o cambiando la etiqueta predicha.

Esta configuración facilitó una experiencia interactiva atractiva, lo que nos permitió recopilar valiosos comentarios de los participantes sobre sus interacciones con el sistema de IA.

#Reclutamiento de Participantes y Proceso de Estudio

Reclutamos participantes a través de una plataforma en línea, asegurándonos de que fueran fluidos en inglés. Nuestro estudio involucró varios pasos:

1. Introducción: Los participantes aprendieron sobre el estudio y dieron su consentimiento.
2. Cuestionario Previo a la Tarea: Medimos los rasgos de personalidad de los participantes y su experiencia previa con la IA.
3. Instrucciones de la Tarea: Se informó a los participantes sobre su rol en la revisión de comentarios usando el prototipo.
4. Tarea de Práctica: Completar una tarea de prueba para familiarizarse con la interfaz.
5. Tarea Principal: Los participantes evaluaron los comentarios, durante los cuales recopilamos datos sobre sus interacciones.
6. Cuestionario Posterior a la Tarea: Los usuarios calificaron su confianza en el sistema y su comprensión del funcionamiento de la IA.

#Recopilación y Análisis de Datos

Recopilamos datos sobre interacciones de los usuarios, rasgos de personalidad, niveles de confianza y puntuaciones de comprensión a través de los cuestionarios. Para la evaluación de la personalidad, utilizamos el Inventario de Personalidad de Diez Ítems (TIPI), recopilando las puntuaciones autoevaluadas de los participantes en cinco dimensiones: apertura, responsabilidad, extraversión, amabilidad y neuroticismo.

Analizamos los datos utilizando métodos de regresión para identificar cualquier relación significativa entre las características del usuario y nuestras medidas de resultado.

#Nuestros Hallazgos: Características del Usuario y Medidas de Resultado

Al examinar la relación entre los rasgos del usuario y el compromiso, comprensión y confianza del usuario, descubrimos que la mayoría de las características del usuario tuvieron poco efecto. Los únicos hallazgos notables fueron:

• Edad: Esta característica tuvo una asociación negativa con la comprensión real.
• Apertura: De manera similar, este rasgo de personalidad también afectó negativamente la comprensión real.

A pesar de la clara importancia de estos rasgos, la mayoría de las otras características del usuario, como el género y la experiencia previa, no mostraron un impacto significativo en la comprensión o confianza.

#Implicaciones de Nuestros Hallazgos

Estos hallazgos sugieren que, en su mayoría, los usuarios comunes de los sistemas XAI podrían ser más similares que diferentes. El pequeño número de efectos significativos desafía la tendencia de personalizar en gran medida la XAI según los rasgos del usuario.

En lugar de crear explicaciones adaptadas para usuarios individuales basadas en rasgos finos, puede ser más beneficioso enfocarse en grupos de usuarios más grandes con necesidades claramente diferentes. Esto podría dar mejores resultados y mejorar la comprensión entre diversas bases de usuarios.

#Limitaciones de Nuestro Estudio

Varias limitaciones afectaron nuestra investigación:

1. Tamaño de la Muestra: Aunque nuestro estudio incluyó 149 participantes, el tamaño de la muestra puede no haber sido lo suficientemente grande para detectar efectos menores.
2. Entorno en Línea: La naturaleza en línea de nuestro estudio creó variables incontrolables, afectando el compromiso del usuario.
3. Enfoque en un Solo Sistema: Examinamos solo un clasificador de toxicidad, lo que puede limitar la aplicabilidad más amplia de nuestros hallazgos.
4. Elecciones de Medición: Nuestro uso de medidas específicas para la personalidad y la comprensión puede no capturar toda la complejidad de estos rasgos.

#Direcciones para la Investigación Futura

Basado en nuestros hallazgos, la investigación futura debería abordar varios desafíos clave:

1. Repetibilidad: Hay necesidad de más estudios para confirmar nuestros resultados. Compartir datos entre investigadores puede mejorar este proceso.
2. Medición Más Amplia de Características del Usuario: Nos enfocamos en rasgos básicos; futuros estudios deberían explorar otros aspectos que podrían afectar las respuestas de los usuarios a las explicaciones de la IA.
3. Personalización Práctica: Investigar cómo implementar y gestionar perfiles de usuarios para una mejor personalización podría mejorar la efectividad de los sistemas XAI.
4. Diseño de Interacción: Explorar cómo diseñar explicaciones dinámicas que respondan a las necesidades del usuario podría producir sistemas XAI más efectivos.

#Conclusión

En resumen, nuestra investigación destaca que las características del usuario tienen una influencia mínima en la comprensión y confianza en los sistemas XAI. Solo unos pocos rasgos, como la edad y la apertura, fueron significativos, sugiriendo que la mayoría de los usuarios responden de manera similar a las explicaciones de la IA. Esto desafía la creciente tendencia de personalización en la XAI y plantea preguntas sobre el enfoque de las futuras investigaciones en este campo. A medida que avanzamos, un esfuerzo colectivo para investigar grupos de usuarios y mejorar el diseño de explicaciones, mientras se comparten conocimientos entre investigadores, será clave para avanzar en la XAI y mejorar la experiencia del usuario.