Entendendo o Comportamento do Usuário na Busca Conversacional

Com o avanço da tecnologia, procurar informação online ficou bem mais fácil. Modelos de linguagem grande (LLMs) tão mudando a forma como pegamos info na web. Eles permitem que a galera interaja com os buscadores de um jeito que parece mais natural, usando uma linguagem do dia a dia, em vez de só palavras-chave. Essa mudança de buscas tradicionais pra uma abordagem mais conversacional dá pistas importantes sobre o que os usuários querem e o quão satisfeitos eles estão com os resultados.

#Importância das Consultas de Seguimento

Uma consulta de seguimento é a resposta de um usuário à resposta do buscador. Ela indica o que o usuário tá pensando ou procurando na próxima etapa. Essas consultas de seguimento podem expressar satisfação, confusão ou desejo de mais informação. Entender por que os usuários fazem essas consultas de seguimento ajuda pesquisadores e desenvolvedores a melhorar a experiência de busca. No entanto, não tem muita pesquisa sobre como essas consultas se relacionam com a Satisfação do Usuário.

#Objetivos da Pesquisa

Essa pesquisa quer responder duas perguntas principais:

1. Como a interação do usuário na Busca Conversacional é diferente dos métodos tradicionais de busca?
2. Como essas interações se relacionam com a satisfação do usuário?

Essas perguntas guiam nossa análise do comportamento do usuário em ambientes de busca conversacional.

#Construindo uma Taxonomia do Comportamento do Usuário

Pra entender como os usuários interagem com buscadores conversacionais, analisamos conversas reais de usuários. Através de uma análise qualitativa, desenvolvemos uma taxonomia que categoriza as consultas de seguimento dos usuários. Essa taxonomia inclui duas partes principais:

1. Motivações dos usuários: Por que os usuários continuam as conversas - como buscar esclarecimento ou mais informações.
2. Ações das consultas de seguimento: As ações específicas que os usuários tomam ao fazer perguntas de seguimento, como excluir certas condições ou pedir informações relacionadas.

#Coleta de Dados

#Testes de Usuário em Laboratório

Coletamos dados através de testes em laboratório. Os participantes completaram tarefas usando um buscador conversacional para consultas pré-definidas. A ideia era capturar uma variedade de interações, de perguntas gerais a pedidos específicos de informação. Depois de recrutar participantes que tinham experiência com IA, mas não com buscadores conversacionais, gravamos suas interações.

#Coleta de Dados do Mundo Real

Além dos dados do laboratório, reunimos dados do mundo real analisando conversas de usuários do buscador. Coletamos milhares de tuplas de conversação, que são conjuntos de trocas entre usuários e o sistema. Também tivemos avaliadores externos classificando o nível de satisfação dessas trocas usando uma escala.

#Analisando Consultas de Seguimento

Usando os dados coletados, codificamos cuidadosamente as conversas em nossa taxonomia. Identificamos temas que surgiram das interações, permitindo entender melhor as intenções dos usuários e como essas intenções afetam sua satisfação com os resultados da busca.

#Temas de Motivação do Usuário

Encontramos várias motivações por trás das consultas de seguimento:

1. Consultas de Esclarecimento: Usuários querem ter certeza de que suas intenções estão claras, muitas vezes fazendo perguntas similares pra obter respostas mais específicas.
2. Explorando o Tema: Usuários podem querer informações mais amplas sobre um tópico.
3. Entendendo a Resposta: Usuários pedem informações adicionais se acham que a resposta foi fraca.
4. Aperfeiçoando: Usuários buscam detalhes específicos sobre algo mencionado em consultas anteriores.
5. Buscando Representações Diferentes: Usuários podem querer informações apresentadas de formas diferentes, como tabelas ou imagens.

#Ações das Consultas de Seguimento

As ações que os usuários tomam nas consultas de seguimento se dividem em várias categorias:

1. Excluindo Condições: Usuários removem condições específicas de consultas anteriores.
2. Adicionando/Especificando Condições: Usuários incluem novos detalhes ou requisitos em suas consultas.
3. Substituindo Condições: Usuários reformulam suas consultas com palavras diferentes, mas com significado similar.
4. Convertendo Formato: Usuários pedem que a informação seja apresentada de um formato diferente.
5. Solicitando Informações Adicionais: Usuários pedem mais informações relacionadas à resposta que receberam.
6. Criticando a Resposta: Usuários expressam insatisfação com as informações fornecidas.

#Classificando Padrões de Interação com LLM

Pra analisar as interações dos usuários em uma escala maior, criamos um classificador que usa um modelo de linguagem grande. Esse classificador categoriza automaticamente as consultas dos usuários de acordo com nossa taxonomia estabelecida.

#Processo de Desenvolvimento do Classificador

Desenvolvemos o classificador através de várias etapas:

1. Design Inicial: Começamos com um conjunto de definições para cada tema.
2. Teste Iterativo: Testamos o classificador com exemplos codificados manualmente dos dados que coletamos.
3. Aprimoramento: Melhoramos o classificador com base em seu desempenho, ajustando definições e adicionando novos temas conforme necessário.

Através desse processo, conseguimos um nível satisfatório de precisão na classificação das consultas dos usuários relacionadas às suas motivações e ações durante as conversas.

#Resultados e Descobertas

#Satisfação do Usuário

Depois de analisar os dados do mundo real usando nosso classificador, conseguimos conectar padrões de interação dos usuários com níveis de satisfação. Notamos que certos temas tinham correlações mais fortes com experiências positivas dos usuários, enquanto outros indicavam confusão ou insatisfação.

#Observações Principais

1. Consultas de Esclarecimento: Frequentemente ligadas a pontuações de satisfação mais baixas, sugerindo que os usuários estavam tendo dificuldade em comunicar suas necessidades de forma eficaz.
2. Solicitando Informações Adicionais: Geralmente associadas a uma satisfação maior, indicando que os usuários estavam animados pra saber mais quando estavam satisfeitos com as respostas iniciais.
3. Criticando Respostas: Ligadas à insatisfação, muitas vezes destacando problemas com a confiabilidade ou relevância das respostas do buscador.

#Aplicação da Taxonomia

Nossas descobertas têm implicações práticas pra melhorar buscadores. Ao identificar as motivações por trás das consultas dos usuários, os desenvolvedores podem criar sistemas melhores. Por exemplo, se os usuários frequentemente pedem esclarecimento, isso sugere que os buscadores precisam entender as consultas de forma mais clara ou fornecer respostas mais adequadas.

#Implicações para Futuras Pesquisas e Desenvolvimento

Entender o comportamento do usuário através da nossa taxonomia abre portas pra aprimorar a experiência de busca como um todo. As percepções obtidas podem ajudar a:

1. Guiar o Design do Sistema: Melhorar as capacidades de reconhecer e atender às necessidades dos usuários em tempo real.
2. Personalizar Interações do Usuário: Desenvolver sistemas que se adaptem às preferências individuais dos usuários com base em seus padrões de consulta.
3. Simular o Comportamento do Usuário: Criar modelos realistas de interações de usuários pra prever resultados e melhorar o desempenho da busca conversacional.

#Direções Para Futuras Pesquisas

Mais pesquisas podem explorar padrões conversacionais mais complexos além de trocas de duas partes. Precisamos capturar arcos de conversa completos e como a informação evolui ao longo de múltiplas interações. Além disso, estudos envolvendo classificações de satisfação geradas pelos usuários poderiam fornecer insights mais profundos sobre quão bem os buscadores atendem às necessidades dos usuários.

#Conclusão

O uso de modelos de linguagem grande e o desenvolvimento de uma taxonomia para consultas de seguimento podem melhorar bastante nosso entendimento do comportamento do usuário em buscas conversacionais. Ao classificar interações e analisar a satisfação do usuário, podemos aprimorar a tecnologia pra atender melhor as necessidades de quem procura informações. O trabalho contínuo nessa área vai continuar a moldar como os usuários interagem com buscadores, levando a sistemas mais intuitivos e responsivos.