Pesquisadores Avaliam Prós e Contras dos LLMs na Pesquisa Qualitativa

Nesta seção, a gente dá uma olhada em como os Pesquisadores interagiram com modelos de linguagem (LLMs). A gente explora os pensamentos, sentimentos e observações deles sobre usar LLMs como substitutos para Participantes humanos. Eles notaram várias fraquezas ao usar LLMs na pesquisa. Embora tenham recomendado não depender exclusivamente dos LLMs para Dados, reconheceram algumas situações em que os LLMs poderiam ser úteis, mas com muitos alertas.

#Atitudes dos Pesquisadores em Relação aos LLMs

Antes de começarem a usar LLMs, os pesquisadores compartilharam seus sentimentos sobre essas tecnologias. A maioria tinha uma mistura de dúvida e curiosidade. Alguns participantes apontaram que os LLMs ajudaram em tarefas como escrever e criar ideias. Por exemplo, eles acharam os LLMs úteis para identificar partes importantes de uma discussão que precisavam de mais atenção. Alguns pesquisadores estavam abertos a encontrar novas maneiras de usar LLMs, mas principalmente os viam como ferramentas para estudar como os LLMs funcionam em vez de ferramentas para entender o comportamento humano.

Os pesquisadores discutiram o que a pesquisa qualitativa busca alcançar. Eles frequentemente usaram metáforas de distância para ilustrar seus pontos. Uma pesquisadora, Alice, expressou dúvida sobre se usar algo que está muito longe da fonte real poderia trazer insights valiosos sobre o comportamento humano. Ela sugeriu que talvez não ajudasse em nada. Jenna acrescentou que a força da pesquisa qualitativa vem da sua capacidade de captar Experiências pessoais únicas.

Os pesquisadores refletiram sobre seus ambientes de trabalho. Harper, que trabalhava na indústria, focou em contar histórias usando dados qualitativos. Ela enfatizou a necessidade de seus dados serem convincentes o suficiente para guiar sua equipe a fazer as escolhas certas. Harper reconheceu que, embora os LLMs possam gerar Respostas simples rapidamente, ela duvidava que eles conseguissem descobrir suposições mais profundas ou detalhes sutis que são mais difíceis de expressar em palavras. No geral, os pesquisadores eram céticos quanto ao uso de LLMs, mas estavam curiosos sobre o que poderiam aprender ao explorar a tecnologia.

#Visão Geral dos Dados de Interação

Quando os pesquisadores interagiram com a ferramenta de entrevista, notaram que as respostas dos LLMs muitas vezes refletiam o que haviam ouvido de participantes humanos. As ideias dos outputs dos LLMs frequentemente coincidiam com aquelas compartilhadas pelos entrevistados humanos. Muitos acharam as respostas do modelo críveis. Por exemplo, Henri observou que algumas respostas do LLM sobre comunidades de idosos combinavam com o que adultos mais velhos expressaram em sua pesquisa. Depois de ver respostas semelhantes que correspondiam aos seus achados, Nadia pensou sobre como seus métodos de recrutamento, que se baseavam em redes sociais, poderiam limitar a captura de pontos de vista de pessoas que não são muito ativas online, semelhante ao LLM, que aprende principalmente com conteúdo online. Embora ela não tenha encontrado erros enormes nos fatos, ainda sentiu que a falta de contexto poderia complicar a interpretação dos dados.

Vários pesquisadores comentaram sobre os detalhes nas respostas do LLM, que muitos atribuíram às instruções específicas que forneceram nos prompts. Amir notou que estava "impressionado com o nível de detalhe", enquanto Laila disse que as respostas faziam "sentido de verdade" em vez de parecerem sem sentido. No entanto, nem todos ficaram satisfeitos. Mario e Rida estavam frustrados com a excessiva quantidade de detalhes. Mario fez um ponto importante de que há uma grande diferença entre detalhe e profundidade. Ele explicou que os LLMs poderiam fornecer muitas informações sem realmente entrar no significado mais profundo. Os pesquisadores frequentemente se viam precisando mudar sua abordagem de questionamento para obter respostas mais focadas do LLM, e não precisavam estabelecer um vínculo no início das interações.

Cameron também achou as respostas dos LLMs inicialmente impressionantes e contemplou se esse método poderia ser benéfico em suas entrevistas. Ela criou duas descrições diferentes para personas para ver como o LLM responderia. A primeira persona era detalhada sobre seu histórico: "Imagine que você é uma latina de 18 anos do Sudeste do Texas que acaba de entrar em uma faculdade da Ivy League." A segunda descrição era mais geral: "Imagine que você é um candidato a faculdade."

Depois de observar as diferenças nas respostas entre as duas personas, Cameron percebeu que a persona mais geral apresentava uma narrativa de alguém com muitos recursos e preparação. Em contraste, a persona mais detalhada retratava uma narrativa que destacava os desafios relacionados ao histórico da estudante latina. Cameron sentiu que o LLM parecia reforçar estereótipos sobre estudantes da Ivy League, perdendo as forças que indivíduos de certas comunidades trazem. Isso levou a sua preocupação de que a abrangência da saída do LLM poderia enganar os pesquisadores a pensar que não precisavam de participantes humanos. Mas, ao trabalhar com as personas, ela reconheceu que o LLM tende a refletir suposições sobre comunidades em vez de experiências autênticas.

Ao tentar diferentes descrições para os participantes, os pesquisadores destacaram os desafios de ser detalhado demais ou não ser detalhado o suficiente. Adicionar menos informações nos prompts levava a respostas que se baseavam em suposições, enquanto Nolan, que forneceu detalhes extensos, notou que as respostas do modelo simplesmente repetiam o que ele incluiu na persona, o que ele achou engraçado, mas não útil. A análise dos dados de interação mostrou casos em que o LLM atribuiu características específicas às identidades nas personas. Por exemplo, uma resposta do modelo para Esme afirmava que ser não binário e negro moldava uma necessidade de representação na mídia. Outras respostas, como a de Nico, transmitiam como uma experiência mista no aprendizado remoto veio de ser um estudante de faculdade de 45 anos. Os entrevistados apontaram que a tendência do LLM de simplificar identidades poderia simplificar demais a natureza nuançada das experiências de vida reais.

#Limitações dos LLMs como Participantes de Pesquisa

Em seguida, discutimos as principais limitações de usar LLMs para ajudar a entender experiências humanas. Algumas preocupações se relacionam ao estilo e ao significado nas respostas, enquanto outras se concentram em questões como consentimento e a autonomia de potenciais participantes. Mesmo que algumas dessas questões possam ser abordadas por meio de um melhor design de prompts ou incluindo uma gama mais ampla de dados, os entrevistados alertaram que esses ajustes poderiam minar a credibilidade do processo de pesquisa se os pesquisadores sentissem a necessidade de "consertar" ou ditar respostas.

#Detalhes Limitados nas Respostas

A clareza dos dados qualitativos é essencial ao transmitir experiências da vida real, incluindo pessoas específicas, configurações, eventos e motivações que transmitem experiências vividas genuínas. Muitos pesquisadores expressaram frustração com as respostas dos LLMs, vendo-as como muito abstratas e distantes da realidade. Eles notaram que reunir histórias detalhadas de participantes humanos requer habilidade e esforço, algo que o modelo muitas vezes não consegue replicar. Embora alguns pesquisadores conseguissem criar prompts que dessem destaque a histórias, ainda questionavam se essas respostas eram válidas. Sophia, que estudou o papel da tecnologia no trabalho temporário, notou como a menção vaga do LLM a um "bairro perigoso" carecia do contexto específico necessário para analisar discussões relacionadas a gênero e raça.

Os pesquisadores também notaram que as respostas dos LLMs frequentemente careciam da espontaneidade e energia presente em entrevistas reais. Em suas pesquisas, participantes humanos às vezes se desviavam do tópico, compartilhando histórias interessantes que enriqueciam os dados. Daria compartilhou que as respostas do LLM eram muito focadas, enquanto seus participantes frequentemente compartilhavam anedotas pessoais, como um carro quebrando durante uma noite agitada, que enriqueciam os dados. Rida acrescentou que, embora seus participantes raramente oferecessem detalhes extensos sobre suas vidas diárias, nas entrevistas, eles gradualmente revelavam mais sobre suas rotinas. Os LLMs, no entanto, tendiam a comunicar experiências de uma maneira formal e distante que não capturava a compreensão nuançada frequentemente presente nas entrevistas presenciais. Esme destacou que as entrevistas podem ser trocas íntimas que uma máquina não pode replicar, mencionando um participante que compartilhou uma experiência pessoal que era improvável de vir de um LLM.

Para pesquisadores que abordam tópicos sensíveis, a falta de profundidade emocional nas respostas dos LLMs era ainda mais notável. A pesquisa de Nadia sobre experiências de imigrantes envolveu discussões sobre trauma e dificuldades, cheias de peso emocional. Em contraste, as respostas dos LLMs eram descritas como planas e carecendo dos sentimentos genuínos que emergem em interações humanas. Os pesquisadores expressaram sua frustração quando as saídas dos LLMs falharam em expressar toda a gama de emoções humanas, que é crítica para narrar histórias complexas de participantes. Alguns modelos têm como objetivo produzir respostas educadas e agradáveis, levando à perda da narrativa detalhada essencial na pesquisa qualitativa.

#Ampliação do Viés do Pesquisador

Ao simular participantes de pesquisa por meio de LLMs, os pesquisadores têm controle significativo, o que pode complicar seus papéis na produção de conhecimento. Criar personas exige fazer suposições sobre como potenciais participantes poderiam ser. Os pesquisadores devem decidir quais traços incluir, o que afeta diretamente como o modelo responde. Embora entrevistas tradicionais também enfrentem vieses de seleção, usar LLMs torna essas escolhas mais visíveis e cruciais. Os participantes expressaram preocupações de que isso poderia inadvertidamente fortalecer seus vieses, já que os pesquisadores poderiam ajustar seus prompts para se adequar às suas expectativas dos dados. Esse risco de viés de confirmação surge da capacidade de perguntar ao LLM várias vezes e receber respostas sutilmente diferentes a cada vez.

Os pesquisadores enfatizaram que a pesquisa qualitativa é um processo contínuo de construção de significado. Os dados não estão apenas esperando para ser coletados; eles são moldados pela forma como os pesquisadores se envolvem com as comunidades e interpretam o que aprenderam. Harper, que trabalhava com grupos religiosos, notou que a presença de um pesquisador pode impactar a dinâmica de uma comunidade. Ela refletiu sobre como suas crenças e atitudes influenciaram sua abordagem de pesquisa. Yue também mencionou como sua apresentação poderia moldar significativamente as informações que os participantes forneciam nas entrevistas. Se eram percebidos como uma pessoa ouvinte ou alguém familiarizado com a comunidade surda poderia mudar a profundidade das respostas.

Os pesquisadores também notaram a diferença entre perspectivas internas (êmicas) e externas (éticas) ao estudar comunidades. Nadia apontou que se os pesquisadores não tiverem experiência pessoal com um tópico, podem não reconhecer estereótipos nos dados. Esme descreveu esse problema como "ciência paraquedista", onde experiências simuladas se baseiam em uma compreensão limitada de uma comunidade. Nikita compartilhou que só pesquisariam comunidades onde têm experiência vivida, enfatizando a importância de ser da comunidade estudada.

Em contrapartida, pesquisadores que fazem parte da comunidade podem trazer insights valiosos para avaliar se os dados representam experiências reais. No entanto, usar LLMs para simular participantes pode levar a encontros que refletem suas comunidades, mas permanecem imprecisos. Nikita descreveu essa situação como semelhante ao "vale das estranhezas", onde as respostas da máquina parecem humanas, mas estão inquietantemente incorretas. Laila se sentiu desconfortável ao ler respostas do sistema tentando refletir suas experiências e descreveu isso como "estranho e desonesto". Isso levantou preocupações sobre como essas simulações poderiam levar a desconforto emocional e impactos negativos nos pesquisadores.

#Natureza Ambígua dos LLMs

Os participantes pesquisadores lutaram para determinar a natureza do conhecimento representado nas respostas dos LLMs, incluindo se refletiam um único ponto de vista. Eles sentiram que as respostas dos LLMs frequentemente combinavam várias perspectivas dos participantes em uma única resposta. Daria descreveu-as como um "simulacro de histórias compartilhadas por pessoas". Elliot, cujo trabalho examinou experiências de trabalhadores em ambientes de gestão, notou que o modelo misturava pensamentos tanto de trabalhadores quanto da gestão, às vezes apresentando o ponto de vista da gestão como benefícios que os trabalhadores realmente não experimentam. Para entender o contexto mais amplo-como pagamento, conflitos e estruturas-Elliot acreditava ser necessário representar o conhecimento parcial e situado com precisão.

As saídas dos LLMs mostraram sensibilidade à formulação usada nos prompts. Daria observou que, quando ela mudou perguntas de "questões de transparência" para "experiências com a informação do aplicativo", o modelo mudou seu tom. Os participantes destacaram que pequenas mudanças na linguagem poderiam inclinar as respostas de negativas para positivas. Essa inconsistência poderia comprometer a confiabilidade dos dados qualitativos.

Os pesquisadores expressaram preocupações sobre a falta de transparência em relação aos dados que treinam os LLMs. Se o objetivo é entender grupos específicos, a validade das respostas geradas pelos LLMs é questionável se não está claro se as vozes desses grupos estão representadas nas fontes de treinamento. Sophia ilustrou que as respostas poderiam diferir significativamente com base em saber se o modelo aprendeu com fóruns de trabalhadores ou fontes orientadas pela empresa. Nikita mencionou que o contexto está ligado ao tempo, questionando se o modelo reflete opiniões atuais ou médias do passado. Sem clareza sobre as fontes de dados, os pesquisadores acharam difícil avaliar a veracidade das saídas do LLM.

#Risco de Exclusão das Vozes da Comunidade

Usar LLMs em pesquisa qualitativa corre o risco de silenciar vozes sub-representadas. Laila, que estudou criadores de conteúdo negros nas redes sociais, notou que os LLMs frequentemente se baseavam em estereótipos ao discutir certos tópicos. Ela levantou preocupações de que, embora os LLMs pudessem capturar sentimentos gerais sobre uma comunidade, eles frequentemente perdem representações autênticas de seus membros. Esme observou que as saídas dos LLMs incluíam temas gerais sobre a história negra que não ressoariam com criadores negros em contextos específicos.

Os pesquisadores atribuíram essas deficiências aos dados de treinamento e aos processos para criar os LLMs atuais. Eles sentiam que a máquina poderia produzir respostas educadas, mas perdia as realidades complexas e confusas das experiências humanas. Amir mencionou que seus participantes frequentemente compartilhavam opiniões fortes que poderiam ser controversas, algo que os LLMs falhavam em replicar. Henri, que estudou terapeutas ocupacionais, achou que, embora os LLMs pudessem apresentar "respostas de melhores práticas", eles não conseguiam capturar as contradições encontradas nas conversas da vida real.

Os participantes também notaram incerteza sobre como os LLMs geram respostas com base em identidades específicas. Quando atribuídas a personas ligadas a identidades culturais, étnicas ou sociais, muitas vezes não estava claro se a máquina se baseava em experiências autênticas ou apenas em características superficiais. Os pesquisadores questionaram quanto peso dar a um modelo simulando uma persona e se suas respostas refletiriam de maneira significativa as experiências reais dos membros dentro daquele grupo de identidade. Essas reflexões revelaram desconforto com a simplicidade de atribuir identidades complexas a uma máquina que não possui experiências vividas genuínas.

#Erosão da Autonomia e Consentimento

Simular o comportamento humano usando LLMs levanta questões éticas importantes sobre a autonomia e o consentimento dos participantes. Uma forma de participação e agência se manifestar na pesquisa é quando os participantes expressam desacordo. Os entrevistados compartilharam várias instâncias de seus participantes humanos questionando as interpretações ou palavras dos pesquisadores. Esse envolvimento é crucial para garantir que os dados coletados reflitam com precisão as experiências dos participantes, que podem diferir das suposições iniciais dos pesquisadores. Por outro lado, os pesquisadores notaram que os LLMs raramente mostravam oposição, a menos que fossem solicitados. Como Daria explicou, muitos participantes em seus estudos tinham suas próprias agendas, ajustando suas respostas de acordo.

Alguns entrevistados expressaram frustração com a tendência do modelo de concordar com seus pontos em vez de fornecer um feedback honesto. Esme comparou isso a uma situação de comédia de improviso, onde os performers concordam com tudo o que é dito por seus parceiros, enquanto em sua pesquisa, as pessoas frequentemente a contradizem. Hugo sentiu que o modelo tendia a dar a 'resposta preferida' ao discutir percepções sobre robôs em ambientes de cuidado.

Participantes humanos frequentemente entram em entrevistas ansiosos para compartilhar suas histórias. O trabalho de Nico com aprendizado remoto revelou que muitos estudantes usavam as entrevistas como uma chance para expressar sua insatisfação com suas experiências. Os participantes frequentemente buscavam compartilhar seus pontos de vista, introduzindo seus próprios termos que Nico, então, adotava. Nikita enfatizou que preferiam se envolver com pessoas em vez de uma máquina oferecendo respostas sobre questões sensíveis.

O uso de LLMs levanta sérias preocupações sobre consentimento. LLMs podem produzir respostas sobre tópicos delicados que os indivíduos estariam hesitantes para discutir, violando limites que normalmente são respeitados em entrevistas. Sophia observou o desconforto de um participante ao discutir certos tópicos diretamente, notando que podiam sentir a hesitação em se aprofundar. Confiar em um modelo treinado sem consentimento dos sujeitos de dados reais levanta preocupações éticas, semelhantes aos debates em torno do uso não autorizado das obras de artistas em arte gerada por IA. Utilizar LLMs para derivar respostas com base no que indivíduos compartilharam online levanta questões sobre sua autonomia, um princípio vital para a pesquisa ética.

#Ameaça à Validade da Pesquisa Qualitativa

Os LLMs representam riscos não apenas para a integridade das metodologias de pesquisa qualitativa, mas também para o status do trabalho qualitativo na academia. Muitos pesquisadores compartilharam preocupações de que a pesquisa qualitativa é frequentemente desvalorizada, muitas vezes vista como menos rigorosa em comparação com métodos quantitativos. A introdução dos LLMs poderia marginalizar ainda mais as abordagens qualitativas ao sugerir que o trabalho aprofundado pode ser duplicado por máquinas e feito mais rapidamente.

Os pesquisadores temiam que os LLMs pudessem incentivar uma mentalidade de "cortar caminhos". O uso de LLMs poderia reduzir a pesquisa qualitativa a mera coleta de dados, perdendo de vista a natureza iterativa e colaborativa melhor adequada para coletar insights nuançados. A pesquisa qualitativa é um processo contínuo que envolve diálogo, reflexão e colaboração com os participantes. Quando os pesquisadores interagem com as pessoas ao longo do tempo, criam relacionamentos duradouros. Daria, Esme e Elliot compartilharam experiências de interações contínuas com participantes além de projetos formais, indicando a importância desses relacionamentos para entender questões complexas. Quando os LLMs substituem respostas humanas, a natureza colaborativa da pesquisa qualitativa muda para uma abordagem mais transacional que extrai dados sem engajamento contínuo da comunidade.

Outra grande preocupação entre os pesquisadores era que o uso de LLMs poderia prejudicar a confiança entre pesquisadores qualitativos e as comunidades com as quais trabalham. Muitos grupos vulneráveis desenvolveram desconfiança em relação a pesquisadores que historicamente extraíram dados sem fornecer suporte. A introdução dos LLMs poderia piorar essa desconfiança se os pesquisadores começassem a substituir os pontos de vista dos participantes por respostas geradas pela máquina. Yue, que interage frequentemente com a comunidade surda, se preocupou que essa prática aprofundasse a desconfiança na pesquisa, especialmente entre comunidades que já são cautelosas sobre a má representação. Reduzir essas vozes a saídas algorítmicas mina o valor de suas narrativas, arriscando a perda da confiança que os pesquisadores trabalharam duro para cultivar.

Os pesquisadores refletiram sobre ansiedades mais amplas em relação à dependência de LLMs para pesquisa qualitativa. Para Nikita, usar LLMs parecia "distópico", onde, por exemplo, vozes trans poderiam ser excluídas de discussões importantes à medida que a tecnologia distorce suas experiências. Cameron resumiu esses medos, apontando que tais ferramentas ignoram as razões fundamentais pelas quais os métodos qualitativos existem: para obter dados que são ricos e fundamentados nas experiências vividas das pessoas. Embora os LLMs possam produzir textos fluentes e contextualizados, essa saída carece da profundidade e autenticidade que surgem apenas do engajamento direto com os participantes.

#Possíveis Usos para LLMs em Pesquisa Qualitativa

Embora a maioria dos pesquisadores expressasse desconforto em usar LLMs para gerar dados de pesquisa falsos, alguns consideraram cenários em que os LLMs poderiam ter um propósito. Como um experimento mental, exploramos áreas específicas onde os LLMs poderiam ser mais eficazes sem substituir o engajamento direto. É vital mencionar que não houve um consenso claro sobre nenhum desses usos entre os participantes. Cada ideia também veio com desvantagens potenciais.

Os entrevistados recomendaram usar LLMs para simular participantes em ambientes de aprendizado controlados, onde os riscos são menores do que em estudos reais. Essa abordagem poderia ajudar pesquisadores novatos a focar em aspectos específicos e formular perguntas de acompanhamento. No entanto, alguns levantaram preocupações, observando que solicitar a um LLM é bem diferente de interagir genuinamente com participantes humanos. Daria mencionou a necessidade de solicitar ao modelo várias vezes antes de receber respostas detalhadas. Os pesquisadores enfatizaram que dominar os aspectos emocionais da entrevista-tanto os seus quanto os dos participantes-é vital, o que é difícil de reproduzir usando LLMs. Jasmine alertou que pesquisadores inexperientes usando LLMs poderiam desenvolver maus hábitos, como não conseguir estabelecer um vínculo ou ignorar pistas não verbais-habilidades críticas em entrevistas do mundo real.

Para muitos pesquisadores, os LLMs poderiam, no máximo, ajudar a testar protocolos de entrevista, especialmente quando recrutar participantes é difícil. Em tais casos, os LLMs poderiam servir como substitutos, permitindo que os pesquisadores vissem que tipos de respostas suas perguntas poderiam gerar. No entanto, Mario alertou que depender de LLMs poderia desviar o foco dos pesquisadores de maneiras que eles não anticipam.

Vários pesquisadores mencionaram que a decisão de usar LLMs dependeria do tópico da pesquisa e das comunidades envolvidas. Em áreas sensíveis, como opressão e discriminação, alguns pesquisadores sugeriram que eles poderiam ajudar a aliviar a carga sobre participantes reais, enquanto outros alertaram que os LLMs poderiam diminuir ainda mais a autenticidade das experiências vividas. Nadia expressou ceticismo sobre a capacidade dos LLMs de simular com precisão experiências humanas complexas, como navegar na identidade de gênero ou sexualidade no trabalho. Por outro lado, ela reconheceu que algumas comunidades, como grupos de ódio, poderiam ser arriscadas para estudar diretamente, sugerindo que os LLMs poderiam ajudar a elaborar estratégias para combater o ódio online. Nikita achou melhor que os pesquisadores colaborassem com membros da comunidade para desenvolver as habilidades necessárias para navegar em tópicos desafiadores ao invés de depender dos LLMs.

Através dessa exploração dos LLMs na pesquisa qualitativa, fica claro que, embora haja potencial para uso limitado, as limitações significativas e preocupações éticas também merecem consideração cuidadosa. Os pesquisadores permanecem cautelosos em substituir a interação humana genuína por respostas geradas pela máquina, enfatizando o valor do envolvimento profundo e nuançado com as pessoas para entender suas experiências.