Simple Science

Ciência de ponta explicada de forma simples

# Informática# Interação Homem-Computador# Inteligência Artificial

Medindo a Confiança em IA: Uma Nova Abordagem

Uma nova escala avalia a confiança cognitiva e afetiva em sistemas de IA.

― 7 min ler


Confiança em Sistemas deConfiança em Sistemas deIA Exploradosconfiança nas interações com IA.Nova escala mede a dinâmica de
Índice

A confiança é fundamental nas nossas relações, seja com pessoas ou máquinas. Quando usamos sistemas de Inteligência Artificial (IA), precisamos confiar que eles vão realizar tarefas de forma precisa e segura. Embora grande parte da pesquisa sobre confiança tenha se concentrado em entender os aspectos lógicos de como construímos a confiança na IA, também tem um lado Emocional que é tão importante quanto. Este artigo discute nossos esforços para desenvolver uma escala que mede tanto a Confiança Cognitiva (lógica) quanto a afetiva (emocional) em sistemas de IA.

A Importância da Confiança na IA

Construir confiança em sistemas de IA pode levar a uma melhor cooperação e uso da tecnologia. Se os usuários não confiam na IA, podem se recusar a usá-la. Isso pode prejudicar a eficácia da IA em várias aplicações, desde assistentes pessoais até ferramentas de saúde. Entender a confiança pode ajudar os desenvolvedores a criar sistemas melhores e mais confiáveis.

Confiança Cognitiva e Afetiva

A confiança cognitiva se baseia na avaliação lógica das habilidades do sistema de IA. Isso envolve como os usuários percebem as competências, a confiabilidade e a integridade do sistema. Já a Confiança Afetiva diz respeito à conexão emocional que os usuários sentem em relação à IA. Isso inclui sentimentos de empatia e cuidado.

Os dois tipos de confiança são essenciais por razões diferentes. A confiança cognitiva pode se desenvolver rapidamente com base no desempenho, enquanto a confiança afetiva pode ser mais duradoura e resiliente durante desafios.

Lacunas na Pesquisa

Apesar da importância da confiança emocional, muito pouca pesquisa se concentrou nos aspectos afetivos da confiança na IA. Muitos dos instrumentos de medição existentes foram criados para relações humanas e podem não se aplicar bem à IA. Há uma necessidade de ferramentas que possam avaliar especificamente o aspecto emocional da confiança em sistemas de IA.

Desenvolvendo uma Nova Escala de Confiança

Para abordar essas lacunas, decidimos criar uma escala especificamente para medir tanto a confiança cognitiva quanto a afetiva em IA. Nossa escala consiste em 27 itens que usam pares simples de palavras (como “Apoio” vs. “Desencorajador”) para descrever diferentes sentimentos de confiança. Usamos cenários para ajudar os participantes a avaliar sua confiança nos sistemas de IA com base nesses itens.

Criando os Itens

Revisamos a literatura existente sobre confiança para identificar componentes cruciais da confiança cognitiva e afetiva. Esse processo nos ajudou a reunir adjetivos úteis que descrevem a confiança. Após um processo de seleção detalhado, reduzimos para 33 pares de adjetivos. Esses pares permitem que os participantes escolham quais palavras descrevem melhor seus sentimentos em relação a um determinado agente de IA.

Design da Pesquisa

Para testar nossa escala, criamos cenários realistas para os participantes lidarem. Esses cenários incluíam vários níveis de confiança e tipos de interações com agentes de IA e humanos. Os participantes avaliaram os agentes com base nesses cenários, classificando os pares de adjetivos.

Medindo a Confiança

No nosso estudo, os participantes avaliaram sua confiança em diferentes agentes após serem apresentados a cenários. Medimos dois tipos de confiança:

  1. Confiança Cognitiva: Quanto os participantes acham que podem confiar no sistema de IA com base em suas habilidades e desempenho.
  2. Confiança Afetiva: A reação emocional que os participantes têm em relação ao sistema de IA.

Também coletamos dados sobre os níveis gerais de confiança dos participantes nos agentes e várias informações de fundo para ver como esses fatores influenciavam sua confiança.

Processo de Análise

Depois de coletar os dados, usamos vários métodos para analisar as classificações de confiança. Realizamos uma análise fatorial para entender quão bem nossos itens mediam os construtos pretendidos. Essa análise ajudou a confirmar que nossa escala captura efetivamente as duas dimensões da confiança.

Confiabilidade da Escala

Verificamos se nossa escala é confiável, ou seja, se ela produz resultados consistentes ao longo do tempo. Descobrimos que tanto as Escalas de confiança cognitiva quanto afetiva tinham alta consistência, o que significa que são medidas confiáveis de confiança.

Validade da Escala

Validade se refere a se nossa escala realmente mede o que afirma medir. Verificamos isso por meio de vários testes:

  • Validade de Construto: Examinamos se nossos itens refletem com precisão os conceitos de confiança cognitiva e afetiva. A análise mostrou que nossa escala era sensível a diferentes condições de confiança.

  • Validade Concurrente: Este teste analisou como nossa escala se relacionava com outras medidas estabelecidas de confiança. Nossos resultados mostraram que as escalas de confiança cognitiva e afetiva previam positivamente a confiança geral nos agentes de IA.

Estudos de Validação

Para fortalecer nossas descobertas, realizamos dois estudos de validação.

Estudo de Validação A

Neste estudo, usamos conversas reais entre participantes e agentes de IA gerados por um modelo de linguagem bem conhecido. Os participantes avaliaram os níveis de confiança após interagir com esses agentes de IA. A análise mostrou que nossa escala poderia medir efetivamente os níveis variados de confiança evocada pelos diferentes agentes.

Estudo de Validação B

Este estudo refinou nosso design para examinar de perto a interação entre confiança cognitiva e afetiva. Comparamos nossa escala com outra medida de confiança estabelecida para destacar seus pontos fortes únicos. Este estudo confirmou ainda mais que nossa escala distingue claramente entre os aspectos cognitivos e afetivos da confiança.

Percepções dos Estudos

Os estudos forneceram várias percepções importantes sobre como a confiança opera nas interações com a IA.

Interação Entre Confiança Cognitiva e Afetiva

Embora a confiança cognitiva e a afetiva sejam construtos distintos, elas influenciam significativamente umas às outras. Por exemplo, quando a confiança cognitiva é alta, variações na confiança afetiva têm menos impacto na confiança geral em um agente de IA. Por outro lado, quando a confiança cognitiva é baixa, a confiança emocional se torna muito mais significativa. Essa descoberta indica que ambos os tipos de confiança desempenham papéis cruciais em como os usuários percebem e interagem com sistemas de IA.

Aplicação Prática da Escala de Confiança

A nova escala de confiança desenvolvida tem várias aplicações potenciais no mundo real:

  1. Medindo a Confiança em Interações Humano-IA: A escala pode ajudar pesquisadores a estudar como a confiança impacta a colaboração entre humanos e IA. Entender a dinâmica da confiança pode melhorar experiências em várias áreas, incluindo saúde e atendimento ao cliente.

  2. Desenvolvendo Sistemas Emocionalmente Confiáveis: A escala pode guiar desenvolvedores na criação de sistemas de IA que promovem conexões emocionais com os usuários. Isso é particularmente importante em áreas como saúde mental, onde a confiança emocional é crítica para a adesão e satisfação do usuário.

Limitações e Áreas para Pesquisa Futura

Embora nossa escala seja um avanço na medição da confiança na IA, ela tem algumas limitações. Estudos futuros devem explorar a confiança em diferentes tipos de papéis da IA, como amigos ou membros de equipe, além de apenas prestadores de serviços. Além disso, refinar as dimensões específicas da confiança cognitiva e afetiva pode melhorar a precisão da medição.

Conclusão

A confiança continua sendo um elemento crucial na integração bem-sucedida da IA em nossas vidas. Ao desenvolver uma escala robusta que mede tanto a confiança cognitiva quanto a afetiva, podemos entender melhor como os usuários se envolvem com sistemas de IA. Esta nova ferramenta de medição pode impulsionar pesquisas e aplicações práticas, levando a tecnologias de IA mais confiáveis e eficazes.

Fonte original

Título: Trusting Your AI Agent Emotionally and Cognitively: Development and Validation of a Semantic Differential Scale for AI Trust

Resumo: Trust is not just a cognitive issue but also an emotional one, yet the research in human-AI interactions has primarily focused on the cognitive route of trust development. Recent work has highlighted the importance of studying affective trust towards AI, especially in the context of emerging human-like LLMs-powered conversational agents. However, there is a lack of validated and generalizable measures for the two-dimensional construct of trust in AI agents. To address this gap, we developed and validated a set of 27-item semantic differential scales for affective and cognitive trust through a scenario-based survey study. We then further validated and applied the scale through an experiment study. Our empirical findings showed how the emotional and cognitive aspects of trust interact with each other and collectively shape a person's overall trust in AI agents. Our study methodology and findings also provide insights into the capability of the state-of-art LLMs to foster trust through different routes.

Autores: Ruoxi Shang, Gary Hsieh, Chirag Shah

Última atualização: 2024-11-07 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2408.05354

Fonte PDF: https://arxiv.org/pdf/2408.05354

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes