Midiendo la confianza en la IA: Nuevas ideas

La Confianza es importante cuando la gente interactúa con la inteligencia artificial (IA). A medida que la IA se vuelve más común en nuestra vida diaria, es crucial entender cómo la confianza afecta estas interacciones. La confianza influye en cómo usamos las herramientas de IA, y los investigadores necesitan maneras fiables de medirla. Sin embargo, las herramientas que se usan actualmente para medir la confianza en la IA suelen venir de otros campos y no han sido comprobadas adecuadamente para su uso en contextos de IA.

Para abordar este problema, esta investigación examina dos cuestionarios específicos utilizados para medir la confianza: la escala de Confianza entre Personas y Automatización (TPA) y la Escala de Confianza para el Contexto de IA (TAI). Al validar estos cuestionarios a través de un experimento en línea bien estructurado, el objetivo es entender mejor la confianza en la IA y ofrecer recomendaciones para futuras investigaciones.

#Importancia de la Confianza en la IA

La confianza juega un papel clave en cómo interactuamos con los sistemas de IA. Cuando confiamos en un sistema de IA, es más probable que nos basemos en sus recomendaciones y decisiones. Esta confianza no solo es importante para la satisfacción del usuario, sino también para la efectividad de las tecnologías de IA.

Entender la confianza en la IA también está relacionado con otro área de investigación llamada IA explicable (XAI). La XAI busca hacer que los sistemas de IA sean más comprensibles y transparentes para los usuarios. Esto, a su vez, puede influir en cuánto confiamos en estos sistemas.

#Desafíos en la Medición de la Confianza

A pesar del reconocimiento de la importancia de la confianza, medirla puede ser complejo. Existen varias definiciones y conceptos de confianza, muchos de los cuales no se separan claramente de términos similares como "dependencia" o "credibilidad percibida". Esta falta de definiciones claras puede llevar a malentendidos y dificultades para medir la confianza de manera precisa.

Generalmente, la confianza se ve como una creencia o actitud personal, y a menudo se mide a través de cuestionarios. La dependencia, por otro lado, se puede observar a través de acciones, como si alguien sigue el consejo de una IA. Es importante diferenciar estos aspectos para tener una mejor comprensión de la confianza en la IA.

Además, hay diferentes tipos de confianza, como la confianza "calibrada", que significa que el nivel de confianza debería coincidir con la capacidad o fiabilidad real de la IA. La confianza no debería aumentarse arbitrariamente; debería reflejar el rendimiento de la IA.

Al mismo tiempo, la Desconfianza es igualmente importante pero a menudo se pasa por alto. La desconfianza en un sistema de IA puede estar justificada cuando el sistema no funciona bien, y reconocer esto es esencial para entender el panorama completo de la interacción humano-IA.

#La Necesidad de Medidas Validadas

La mayoría de los estudios que miden la confianza en la IA tienden a depender de preguntas individuales o a crear sus propios cuestionarios. Desafortunadamente, muchas de estas herramientas autodesarrolladas carecen de una evaluación rigurosa y solo se usan una vez, lo que dificulta la comparación de resultados entre estudios. Por lo tanto, hay una fuerte recomendación para que los investigadores utilicen cuestionarios validados para asegurar resultados fiables.

Actualmente, los investigadores utilizan cuestionarios de otros campos, como el TPA, que fue diseñado para medir la confianza entre personas y la automatización. Sin embargo, adaptar estos cuestionarios para el uso en IA genera preocupaciones sobre si todavía miden lo que se pretendía medir con precisión.

Para abordar estas deficiencias, se evaluaron dos cuestionarios de confianza-el TPA y el TAI-por su calidad psicométrica en un contexto de IA.

#Objetivos de Investigación

Los principales objetivos de esta investigación fueron tres:

1. Evaluar la calidad psicométrica del TPA en el contexto de IA.
2. Evaluar la calidad psicométrica del TAI.
3. Comparar las dos escalas de confianza y proporcionar orientación sobre su uso en el contexto de IA.

La investigación se llevó a cabo a través de un experimento en línea pre-registrado en el que los participantes vieron interacciones con sistemas de IA dignos de confianza y no dignos de confianza-específicamente, un vehículo autónomo y un chatbot.

#Metodología

#Diseño de Investigación

Se reclutaron un total de 1500 participantes a través de una plataforma de crowdsourcing. Se les pidió que miraran videos que mostraban interacciones con un sistema de IA digno de confianza o no digno de confianza. Después de ver cada video, los participantes completaron los cuestionarios TPA y TAI, seguidos de medidas adicionales relacionadas.

#Configuración del Experimento

Los participantes vieron dos videos: uno con un chatbot y otro con un vehículo autónomo. En un video, la IA funcionó bien, mientras que en el otro, no cumplió con las expectativas. Esta configuración ayudó a probar la confianza y desconfianza de los participantes en la IA.

Después de cada video, los participantes respondieron a los cuestionarios de confianza, evaluando sus sentimientos hacia la IA que acababan de observar.

#Análisis de Datos

Después de la recolección de datos, los investigadores analizaron las respuestas de los participantes, buscando patrones y correlaciones que pudieran proporcionar información sobre su confianza y desconfianza en la IA.

#Resultados

#Evaluación Psicométrica

Los hallazgos indicaron que el TAI mostró un rendimiento sólido, confirmando su fiabilidad como una medida efectiva de confianza. Mientras tanto, el TPA mostró calidad aceptable solo después de algunos ajustes, incluyendo la eliminación de ciertos ítems y reconociendo la necesidad de medir la confianza y la desconfianza como dos constructos separados.

El análisis también mostró que la confianza y la desconfianza son factores distintos en el estudio de los sistemas de IA, reforzando la idea de que ambos deberían medirse de forma independiente para mayor claridad y precisión.

#Validez Convergente y Divergente

Los resultados apoyaron la noción de que la confianza y la desconfianza están relacionadas pero son distintas. Por ejemplo, los puntajes de confianza de ambos, TPA y TAI, se correlacionaron positivamente con la confianza situacional mientras mostraban correlaciones negativas con afecto negativo. Mientras tanto, la desconfianza mostró un patrón opuesto, validando aún más la estructura de dos factores de confianza y desconfianza.

#Fiabilidades y Valideces

Los estudios mostraron buena fiabilidad tanto para el TAI como para el TPA revisado. Esto sugiere que estas herramientas pueden proporcionar resultados consistentes a lo largo del tiempo, lo que las hace valiosas para futuras investigaciones.

#Discusión

#Recomendaciones para Investigadores

Basado en los hallazgos, es importante que los investigadores utilicen el TAI para medir la confianza de manera directa, adhiriéndose a su versión validada. Por el contrario, el TPA debe usarse con precaución, reconociendo su potencial como un modelo de dos factores para medir tanto la confianza como la desconfianza de manera independiente.

Esta distinción puede facilitar una comprensión más profunda de cómo las personas perciben la IA, llevando a interacciones humano-IA más efectivas.

#Implicaciones para la Interacción Humano-IA

Entender tanto la confianza como la desconfianza puede ayudar a los desarrolladores a crear sistemas de IA que no solo sean dignos de confianza, sino que también ayuden a los usuarios a gestionar su escepticismo. Esto podría llevar a mejores prácticas de diseño, asegurando que la tecnología de IA no solo sea avanzada, sino también fácil de usar y fiable.

Al enfocarse en la confianza y la desconfianza, futuras investigaciones pueden llenar los vacíos de conocimiento en el uso de la IA, allanando el camino para mejoras en el desarrollo de la IA basado en las necesidades y expectativas humanas.

#Conclusión

A medida que los sistemas de IA se integran más en nuestra vida cotidiana, establecer confianza en estas tecnologías es esencial. Esta investigación resalta la necesidad de medidas validadas para evaluar tanto la confianza como la desconfianza de manera efectiva. Los resultados afirman la importancia de entender estos conceptos por separado, llevando a interacciones y desarrollos de IA más informados.

En general, este trabajo contribuye al creciente campo de la investigación humano-IA al proporcionar herramientas que pueden ayudar a investigadores y desarrolladores a comprender mejor cómo las emociones humanas influyen en las interacciones con la IA. Al mejorar estas medidas y entender las sutilezas de la confianza, podemos crear sistemas de IA que sean útiles y fiables, beneficiando en última instancia a la sociedad en su conjunto.

#Direcciones Futuras

La investigación futura debería esforzarse por desarrollar y refinar aún más los cuestionarios de confianza, enfocándose en el contexto único de la interacción humano-IA. Estudios adicionales también deberían explorar otras aplicaciones de IA para asegurar que los hallazgos se puedan generalizar más allá de solo unos pocos escenarios.

Un trabajo adicional en el TPA puede arrojar nuevos ítems que capturen mejor la desconfianza, mejorando su usabilidad y funcionalidad en la investigación.

Además, la exploración de diferentes contextos de IA, como la salud o las finanzas, podría arrojar luz sobre cómo se manifiestan la confianza y la desconfianza en diversas aplicaciones y poblaciones.

En última instancia, entender la dinámica de la confianza y la desconfianza en la IA será crucial a medida que la sociedad confíe cada vez más en estas tecnologías.