O Impacto da Incerteza na Confiança nas Ferramentas de IA

Ferramentas de decisão com IA estão se tornando cada vez mais comuns no dia a dia, ajudando as pessoas a tomar decisões ao prever possíveis resultados. Mas, quando a galera usa essas ferramentas em situações incertas, os resultados podem variar bastante. Este estudo examina como diferentes formas de apresentar a Incerteza afetam a Confiança das pessoas nessas ferramentas de decisão com IA ao longo do tempo. A confiança é essencial para que esses sistemas funcionem bem, especialmente em áreas onde as decisões podem impactar bastante os usuários, como dirigir para plataformas de trabalho temporário.

#Questões de Pesquisa

Neste estudo, focamos na direção de trabalho temporário como um caso de estudo para investigar perguntas-chave sobre como a incerteza é apresentada e seus efeitos na confiança e na dependência das ferramentas de IA. Queremos responder às seguintes perguntas:

1. Como a precisão percebida das previsões de uma ferramenta de IA impacta a confiança dos usuários nela?
2. Como essa precisão percebida interage com a confiança para afetar a dependência dos usuários na ferramenta?
3. Como a forma como a incerteza é apresentada influencia a confiança e a dependência em uma ferramenta de IA?

#Contexto

#Confiança em IA

A confiança é um fator importante que influencia como os usuários interagem com ferramentas de decisão com IA. Ela pode variar com base nas experiências anteriores dos usuários e no contexto em que a ferramenta é usada. Quando os usuários percebem que uma ferramenta de IA é precisa, eles tendem a confiar mais nela. Essa confiança pode mudar ao longo do tempo com base nas interações dos usuários com a ferramenta e os resultados dessas interações.

#Medindo a Confiança

Medir a confiança em IA não é fácil, porque é influenciado por muitos fatores. A maioria dos estudos que medem a confiança usa auto-relatos, que podem ser afetados pelas percepções e experiências dos usuários. No nosso estudo, usamos uma mistura de métodos para coletar dados sobre os níveis de confiança antes e depois de usar a ferramenta de IA.

#Desafios da Incerteza

A incerteza é inerente a muitos cenários de tomada de decisão. No nosso estudo, focamos em dois tipos de incerteza:

1. Incerteza situacional, que surge do contexto em que as decisões são tomadas.
2. Incerteza relacional, que é introduzida pelo próprio sistema de IA.

Ambos os tipos podem impactar como os usuários percebem a confiabilidade dos sistemas de IA.

#Sistemas de Recomendação

Os sistemas de recomendação desempenham um papel crucial em como os usuários interagem com a tecnologia. Esses sistemas podem influenciar as decisões dos usuários com base em como apresentam as informações. Nosso estudo explora como a redação e a apresentação das recomendações afetam a confiança e a dependência dos usuários ao longo do tempo.

#Trabalho Temporário

O trabalho temporário é um setor em rápido crescimento, onde os trabalhadores usam aplicativos para gerenciar seus empregos, como caronas compartilhadas e entregas de comida. Embora o trabalho temporário ofereça flexibilidade, também envolve incerteza significativa relacionada a ganhos e condições de trabalho. Entender como as ferramentas de IA podem ajudar os trabalhadores temporários é vital, especialmente considerando seus desafios únicos.

#Ferramenta de Recomendação de Horário

Desenvolvemos uma ferramenta de recomendação de horários baseada em IA especificamente para motoristas de trabalho temporário. Essa ferramenta ajuda os motoristas a decidir quando trabalhar com base na sua disponibilidade e metas de ganhos. Ela consiste em duas partes principais:

1. Um módulo de estimativa que prevê os ganhos esperados para diferentes horários com base em dados históricos.
2. Um módulo de agendamento que cria um plano para quando os motoristas devem trabalhar para maximizar seus ganhos, considerando suas restrições.

#Desenho do Estudo

Usamos uma abordagem de métodos mistos que inclui coleta de dados quantitativos e qualitativos. Nosso estudo consistiu em duas fases principais: entrevistas piloto e um ensaio longitudinal.

#Entrevistas Piloto

Antes do estudo principal, realizamos entrevistas piloto com motoristas de trabalho temporário para coletar feedback sobre o design da nossa ferramenta. Isso nos ajudou a entender as necessidades dos motoristas e a aprimorar nossa ferramenta para melhor usabilidade.

#Ensaio Longitudinal

Na fase principal do estudo, usamos nossa ferramenta com participantes ao longo de sete dias. Os participantes interagiram com a ferramenta de recomendação de horário e forneceram feedback por meio de questionários diários sobre sua confiança na ferramenta, seus ganhos e sua disposição em seguir as recomendações.

#Resultados

#Análise de Dados

Os dados das entrevistas piloto e dos ensaios longitudinais foram analisados para avaliar como diferentes formas de apresentar a incerteza afetaram a confiança e a dependência na ferramenta de IA.

#Resultados de Confiança

Os achados preliminares indicaram que os participantes que perceberam que seus ganhos estavam de acordo com as estimativas da ferramenta relataram níveis mais altos de confiança. Com o tempo, as pontuações de confiança geralmente aumentaram, mas os participantes que sentiram que as estimativas da ferramenta eram precisas viram aumentos ainda maiores na confiança.

#Resultados de Dependência

A dependência dos participantes na ferramenta também estava ligada às suas percepções de precisão. Aqueles que sentiram que a ferramenta fornecia previsões precisas eram mais propensos a continuar usando a ferramenta durante o período do estudo. Isso mostra que confiança e dependência estão intimamente conectadas.

#Apresentação da Incerteza

A forma como a incerteza foi apresentada na ferramenta teve um impacto variado na confiança e na dependência. Alguns formatos, como estimativas por faixas, foram considerados benéficos para construir confiança, enquanto outros, como estimativas excessivamente detalhadas, foram menos eficazes. Os participantes apreciaram formatos que forneciam informações úteis sem sobrecarregá-los.

#Discussão

#Implicações para o Design de IA

Nossos achados sugerem que a confiança em ferramentas de decisão com IA pode ser cultivada por meio de uma apresentação cuidadosa da incerteza. Os designers devem considerar como as informações são apresentadas para garantir que os usuários mantenham sua confiança e disposição em depender da ferramenta ao longo do tempo.

#Design Centrado no Usuário

A variabilidade na forma como diferentes usuários interagiram com a ferramenta destaca a necessidade de abordagens de design centradas no usuário. As ferramentas devem ser flexíveis para acomodar as preferências e experiências diversas dos usuários.

#Direções para Pesquisas Futuras

Estudos futuros poderiam explorar como diferentes características dos usuários, como experiência e familiaridade com sistemas de IA, afetam a confiança e a dependência nas ferramentas de IA. Pesquisas adicionais em aplicações diversas além da direção de trabalho temporário forneceriam insights mais profundos.

#Conclusão

Este estudo ilumina como a apresentação da incerteza em ferramentas de decisão com IA pode influenciar significativamente a confiança e a dependência dos usuários. Ao focar no trabalho temporário como um caso de estudo, identificamos fatores-chave que impactam as experiências dos usuários e fornecemos diretrizes para projetar ferramentas de IA mais eficazes. À medida que o trabalho temporário continua a crescer, entender como construir confiança em sistemas de IA é vital para apoiar os motoristas a tomar decisões informadas.