IA na Pesquisa Qualitativa: Confiança e Estratégias
Examinando o papel da IA na codificação qualitativa e seu impacto na confiança do usuário.
― 8 min ler
Índice
- A Importância da Codificação Qualitativa
- Desafios na Interação Humano-IA
- Explorando Estratégias de Codificação
- Metodologia da Pesquisa
- Resultados sobre Comportamentos de Codificação
- Confiança do Usuário e Sugestões da IA
- O Papel da Dificuldade da Tarefa
- Implicações para o Design da IA
- Conclusão
- Fonte original
- Ligações de referência
A pesquisa qualitativa tem um papel importante em entender o comportamento e experiências humanas, muitas vezes analisando dados como entrevistas, questionários e respostas abertas. Uma parte significativa dessa análise envolve a Codificação qualitativa, um processo onde os pesquisadores categorizam e interpretam informações. Com o crescimento da Inteligência Artificial (IA), há um interesse crescente em como a IA pode ajudar nessa tarefa trabalhosa de codificação qualitativa.
Este artigo examina a relação entre Usuários humanos e sistemas de IA em tarefas de codificação qualitativa. Nosso foco é em como diferentes estratégias de codificação podem afetar a Confiança e a dependência dos usuários nas sugestões da IA. Vamos explorar como a granularidade da codificação, ou o nível de detalhe no texto analisado e nos códigos atribuídos, impacta essas interações.
A Importância da Codificação Qualitativa
A codificação qualitativa é vital para transformar dados brutos em segmentos manejáveis e analisáveis. Ela serve como a base da análise qualitativa, permitindo que os pesquisadores identifiquem temas, padrões e insights a partir dos dados. No entanto, a codificação pode ser um processo demorado, frequentemente exigindo várias iterações para garantir precisão e profundidade.
Os pesquisadores começaram a explorar a codificação assistida por IA para agilizar o processo. Esses sistemas de IA podem aprender com exemplos de codificação anteriores e sugerir códigos relevantes para ajudar os usuários na análise. Contudo, o nível de confiança e dependência que os usuários têm nessas sugestões da IA pode influenciar muito a eficácia desses sistemas.
Desafios na Interação Humano-IA
Embora a IA apresente oportunidades valiosas para aumentar a eficiência da codificação, existem desafios que surgem da interação entre usuários humanos e sistemas de IA. Uma preocupação importante é os diferentes níveis de confiança que os usuários podem ter na IA, o que pode levar a uma subdependência ou superdependência desses sistemas.
A confiança pode ser influenciada por vários fatores, incluindo a capacidade percebida da IA de fornecer sugestões de codificação confiáveis, a clareza das recomendações do sistema e a experiência geral do usuário. Os usuários podem ser céticos quanto à capacidade da IA de realizar análise qualitativa de forma precisa e podem hesitar em confiar totalmente em suas sugestões.
Explorando Estratégias de Codificação
Para entender como diferentes estratégias de codificação afetam a confiança e a dependência do usuário, precisamos primeiro definir o que queremos dizer com "granularidade da codificação." Isso se refere ao nível de detalhe aplicado tanto na seleção do texto a ser codificado quanto na extensão dos códigos em si.
Uma granularidade maior pode envolver a análise de dados em um nível mais detalhado, como codificar frases ou sentenças específicas, enquanto uma granularidade menor pode envolver categorias mais amplas que englobam seções maiores de texto.
Nossa pesquisa foca em como essa variabilidade na granularidade da codificação impacta a confiança dos usuários nos sistemas de IA e sua dependência nas sugestões geradas pela IA.
Metodologia da Pesquisa
Para investigar o impacto das estratégias de codificação na confiança e na dependência do usuário, realizamos uma série de estudos com participantes encarregados de diferentes tarefas de codificação. Os participantes foram apresentados a vários níveis de granularidade do texto e extensão dos códigos, permitindo que observássemos como esses fatores influenciavam seus comportamentos de codificação e confiança no sistema de IA.
Os estudos incluíram métodos Qualitativos e quantitativos. Os participantes foram convidados a realizar tarefas de codificação com e sem assistência da IA, permitindo-nos comparar suas experiências e insights. Também coletamos dados sobre a confiança percebida nas sugestões da IA e quão úteis eles acharam o sistema.
Resultados sobre Comportamentos de Codificação
Nossos estudos revelaram várias descobertas interessantes sobre como estratégias de codificação impactam os comportamentos dos usuários. Um insight notável foi que os participantes tendiam a favorecer códigos mais curtos quando tinham essa opção. Esse comportamento sugere que os usuários podem preferir uma codificação concisa que se alinha com suas expectativas de uma análise de dados eficiente.
Por outro lado, códigos mais longos eram percebidos como mais úteis quando sugeridos pelo sistema de IA. Os participantes descobriram que sugestões mais detalhadas proporcionavam um melhor contexto, permitindo decisões de codificação mais precisas.
De forma curiosa, também observamos variações no número de seleções feitas pelos usuários com base na granularidade da tarefa de codificação. Em tarefas que exigiam detalhes mais finos, os participantes tendiam a fazer menos seleções, mas gastavam mais tempo deliberando sobre suas escolhas. Em contraste, tarefas de codificação mais amplas levaram a taxas de seleção maiores, já que os participantes se sentiram menos limitados por critérios de codificação específicos.
Confiança do Usuário e Sugestões da IA
A confiança do usuário emergiu como um componente crítico na relação entre humanos e IA durante a codificação. Descobrimos que os participantes mostraram níveis mais altos de confiança nas sugestões da IA durante tarefas mais simples, onde os requisitos de codificação eram menos exigentes. Por outro lado, a confiança diminuía em tarefas mais complexas que exigiam maior nuance e detalhe.
Essa descoberta indica que os participantes eram mais propensos a confiar nas sugestões da IA quando se sentiam confiantes no processo de codificação. Os desafios surgiam quando os usuários achavam que as sugestões da IA faltavam profundidade ou relevância, levando a uma menor confiança e reduzida dependência do sistema.
Um dos objetivos do nosso estudo foi explorar as discrepâncias entre a confiança percebida e a confiança comportamental. Embora os participantes pudessem expressar uma crença nas capacidades da IA, isso nem sempre se traduzia em ação, já que alguns usuários optaram por ignorar as sugestões da IA completamente.
O Papel da Dificuldade da Tarefa
A dificuldade de uma tarefa de codificação também desempenhou um papel significativo em moldar a confiança e a dependência do usuário. Descobrimos que tarefas percebidas como mais desafiadoras exigiam mais tempo e esforço, o que, por sua vez, influenciava como os participantes interagiam com o sistema de IA.
Por exemplo, seleções de texto mais longas eram frequentemente vistas como mais difíceis de codificar com precisão. Essa complexidade poderia levar à frustração entre os usuários, que poderiam então voltar a depender da IA para sugestões. Por outro lado, tarefas mais fáceis normalmente viam maior engajamento dos participantes e uma disposição para explorar opções de codificação de forma independente.
Implicações para o Design da IA
Nossas descobertas têm implicações importantes para o design de sistemas de IA voltados a ajudar na codificação qualitativa. Para fomentar a confiança e a dependência dos usuários, esses sistemas devem priorizar a entrega de sugestões claras e relevantes que se alinhem com as expectativas dos usuários.
Projetar recursos que permitam aos usuários modificar e ajustar as sugestões da IA poderia melhorar sua experiência e aumentar a confiança no sistema. Ao capacitar os usuários com mais controle, a IA pode atuar como uma assistente útil em vez de agir como uma autoridade, aprimorando assim a natureza colaborativa da interação humano-IA.
Conclusão
Em conclusão, nossa pesquisa destaca a interação crítica entre usuários humanos e sistemas de IA na codificação qualitativa. Ela enfatiza a necessidade de uma compreensão mais sutil de como diversas estratégias de codificação impactam a confiança e a dependência do usuário.
Ao reconhecer os desafios impostos por diferentes níveis de dificuldade da tarefa e as próprias preferências de codificação do usuário, os designers podem criar ferramentas de análise qualitativa assistidas por IA mais eficazes. O objetivo final é desenvolver sistemas que apoiem os usuários em suas tarefas de codificação, enquanto constroem confiança e promovem um ambiente colaborativo.
À medida que o campo da pesquisa qualitativa continua a evoluir, a exploração contínua das interações humano-IA será essencial para garantir que as ferramentas de IA sejam integradas efetivamente nos fluxos de trabalho de pesquisa, aprimorando tanto a eficiência quanto a profundidade dos insights. Ao buscar um equilíbrio entre a expertise humana e a assistência da IA, os pesquisadores podem aproveitar todo o potencial da análise qualitativa em seu trabalho.
Título: Impact of Human-AI Interaction on User Trust and Reliance in AI-Assisted Qualitative Coding
Resumo: While AI shows promise for enhancing the efficiency of qualitative analysis, the unique human-AI interaction resulting from varied coding strategies makes it challenging to develop a trustworthy AI-assisted qualitative coding system (AIQCs) that supports coding tasks effectively. We bridge this gap by exploring the impact of varying coding strategies on user trust and reliance on AI. We conducted a mixed-methods split-plot 3x3 study, involving 30 participants, and a follow-up study with 6 participants, exploring varying text selection and code length in the use of our AIQCs system for qualitative analysis. Our results indicate that qualitative open coding should be conceptualized as a series of distinct subtasks, each with differing levels of complexity, and therefore, should be given tailored design considerations. We further observed a discrepancy between perceived and behavioral measures, and emphasized the potential challenges of under- and over-reliance on AIQCs systems. Additional design implications were also proposed for consideration.
Autores: Jie Gao, Junming Cao, ShunYi Yeo, Kenny Tsu Wei Choo, Zheng Zhang, Toby Jia-Jun Li, Shengdong Zhao, Simon Tangi Perrault
Última atualização: 2023-09-24 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2309.13858
Fonte PDF: https://arxiv.org/pdf/2309.13858
Licença: https://creativecommons.org/licenses/by-nc-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://www.tensorflow.org/tutorials/images/data_augmentation
- https://atlasti.com/ai-coding-powered-by-openai
- https://openai.com/chatgpt
- https://www.yelp.com/dataset/documentation/main
- https://www.sbert.net/
- https://pingouin-stats.org/generated/pingouin.mixed_anova.html
- https://etherpad.org/
- https://github.com/ether/ep_comments_page
- https://rasa.com/docs/rasa/components/
- https://rasa.com/docs/rasa/
- https://rasa.com/docs/rasa/tuning-your-model/
- https://spacy.io/usage/models
- https://dl.acm.org/ccs.cfm