A Interação entre Resultados de Busca e Satisfação do Usuário

Sistemas de Recuperação de Informação (IR) são ferramentas que ajudam os usuários a encontrar informações relevantes com base nas suas pesquisas. Quando a galera busca algo online, esses sistemas mostram uma lista de resultados que são classificados de acordo com o quanto eles se encaixam no que o usuário tá procurando. Mas não é só sobre achar a informação certa; como essa informação é apresentada também conta muito. Uma boa apresentação pode deixar os usuários mais felizes e satisfeitos com a experiência de busca.

Pesquisas já analisaram como a Satisfação do Usuário se relaciona com o desempenho dos sistemas de IR e como as informações são apresentadas. No entanto, esses estudos geralmente focam em um aspecto de cada vez. Este artigo tenta juntar essas ideias, analisando como o desempenho dos resultados de busca, a apresentação deles e a satisfação do usuário estão conectados.

#Visão Geral do Estudo

Pra entender melhor essa relação, a gente montou um experimento onde testamos diferentes formas de apresentar os resultados de busca. Usamos uma interface de busca de notícias e olhamos como vários layouts de cartões de resultados afetaram a satisfação dos usuários. Nossa base de dados veio de uma coleção de artigos de notícias e focamos em quatro tópicos específicos, cada um com diferentes consultas de busca.

No total, 164 participantes participaram do estudo e foram apresentados a um dos cinco layouts diferentes de resultados. Esses incluíam variações como mostrar apenas o título, título com uma imagem, ou título junto com uma imagem e um resumo. Exploramos a conexão entre o desempenho dos resultados de busca e como isso afeta a satisfação geral.

#Perguntas de Pesquisa

Tínhamos duas perguntas principais guiando nossa pesquisa:

1. Como a qualidade dos resultados de busca e o layout da interface afetam a satisfação do usuário em tarefas de recuperação de informação?
2. Quais efeitos os diferentes layouts da interface têm na satisfação do usuário em termos de experiência geral, simpatia, produtividade e esforço mental?

#Sistemas de Recuperação de Informação

Os sistemas de IR, como os motores de busca na web, ajudam os usuários a encontrar rapidamente a informação que precisam entre inúmeros documentos. O sucesso desses sistemas depende não só de recuperar documentos relevantes, mas também de como esses documentos são exibidos na página de resultados da busca (SERP).

Uma SERP típica mostra cada resultado como um cartão, contendo informações como o título, possivelmente uma imagem, e um resumo. Estudos anteriores mostram que elementos visualmente atraentes nesses cartões podem influenciar positivamente a satisfação do usuário.

Mas a satisfação do usuário não é movida apenas pela apresentação. Os usuários também investem tempo montando suas consultas, o que influencia os resultados que eles recebem. Métricas como Ganho Cumulativo (CG) e Ganho Cumulativo Descontado Normalizado (nDCG) são frequentemente usadas para medir o quão bem um sistema funciona.

Pesquisas mostraram uma forte correlação entre o desempenho das consultas e a satisfação do usuário. O comportamento dos usuários enquanto interagem com os resultados também afeta seus níveis de satisfação, incluindo o tempo que levam para explorar os resultados.

#Metodologia do Estudo

No nosso estudo, buscamos explorar como o desempenho das consultas e a apresentação dos resultados interagem para afetar a satisfação do usuário. Usamos participantes recrutados por crowdsourcing para realizar um estudo baseado em uma tarefa de busca de notícias ad-hoc.

Apresentamos aos usuários diferentes consultas agrupadas com base em seus scores de nDCG em categorias baixa, média e alta. Os participantes analisaram várias consultas e documentos para encontrar informações relevantes sobre tópicos específicos. Os diferentes layouts mostraram uma mistura de informações nos cartões de resultados.

#Coleta e Sistema

Usamos uma coleção bem conhecida de artigos de notícias para o nosso estudo, garantindo uma variedade de tópicos. Nosso sistema indexou e recuperou documentos com base nas consultas dos usuários, exibindo os resultados em um formato amigável.

Os participantes foram apresentados a cinco layouts diferentes da interface que apresentavam várias combinações de títulos, imagens e resumos. Cada layout foi projetado para apresentar informações de forma clara enquanto maximizava o engajamento do usuário.

#Tarefas de Busca e Instruções para os Participantes

Escolhemos quatro tópicos específicos para o estudo, que eram bem documentados, para fornecer uma base sólida para os usuários. Esses tópicos estavam relacionados à segurança em aeroportos, desastres de transporte, pirataria e tempestades tropicais.

Os participantes foram instruídos a encontrar e salvar documentos relevantes que corresponderam aos tópicos dados. Eles puderam explorar quantas consultas quisessem para marcar documentos que considerassem adequados. Coletamos feedback sobre a experiência de busca e a satisfação deles.

#Demografia dos Participantes

O estudo incluiu 164 participantes, principalmente com idades entre 20 e 40 anos. Garantimos um equilíbrio entre estudantes e não-estudantes. Todos os participantes eram falantes nativos de inglês para manter a consistência na realização das tarefas.

Os participantes foram aleatoriamente designados a um dos cinco layouts e foram exigidos a completar uma série de consultas para o tópico que lhes foi atribuído.

#Resultados do Experimento

#Comportamentos de Busca

Analisamos as ações que os participantes tomaram durante o estudo. Em média, eles exploraram de 3 a 4 consultas por tópico e clicaram em alguns documentos para cada consulta. Os participantes normalmente salvaram cerca de três documentos, com uma boa porcentagem sendo identificada como relevante.

Curiosamente, o layout influenciou como os usuários conseguiam identificar documentos relevantes com precisão. O layout onde os resultados eram exibidos com resumos foi particularmente eficaz, ajudando os usuários a determinar a relevância mais rapidamente.

#Análise do Tempo

Os participantes gastaram em média cerca de 20 minutos trabalhando em cada tópico, revisando e marcando documentos relevantes. O tempo gasto em cada tarefa variou levemente por layout, mas no geral permaneceu consistente entre os diferentes setups.

#Satisfação com as Consultas e Feedback dos Usuários

Exploramos a relação entre o quão bem as consultas se saíram, usando scores de nDCG, e a satisfação do usuário. Nossos achados indicaram uma ligação positiva entre os scores de nDCG e a satisfação dos usuários. No entanto, mudar o layout não elevou os níveis de satisfação em casos de desempenho mais baixo das consultas.

#Efeitos do Layout da Interface

Diferentes layouts foram analisados quanto ao seu impacto na satisfação do usuário. Embora não houvesse diferenças significativas em métricas básicas de satisfação entre os layouts, os resultados sugeriram que a estrutura da interface influenciava sutilmente a satisfação geral do usuário.

#Experiência do Usuário e Esforço Mental

Os participantes avaliavam sua experiência com base em vários aspectos, como produtividade percebida e esforço mental. A análise revelou interações complexas entre esses fatores e os layouts usados. Os usuários relataram diferentes níveis de satisfação com base no layout, sugerindo uma relação sutil entre o design da interface e a experiência do usuário.

#Conclusão

Este estudo lança luz sobre as conexões entre o desempenho das consultas, como as informações são apresentadas e a satisfação do usuário. Aparentemente, enquanto existe uma forte relação entre o desempenho dos resultados de busca e a satisfação do usuário, o impacto da apresentação é mais sutil.

As experiências dos usuários são moldadas por muitos fatores, indicando que o layout dos resultados é crítico para aumentar a satisfação do usuário. Contudo, simplesmente melhorar um aspecto, como o layout, não vai sempre levar a um aumento na satisfação se o desempenho da consulta for fraco.

#Direções Futuras

Embora nossos achados sejam interessantes, eles são limitados pelo contexto específico e tópicos que examinamos. Pesquisas futuras devem explorar diferentes tarefas, tipos de documentos e comportamentos dos usuários para construir sobre esses resultados.

Esse trabalho estabelece uma base para uma investigação mais aprofundada sobre como diferentes métricas de satisfação do usuário interagem com sistemas de IR. No geral, nossos achados enfatizam a necessidade de um equilíbrio entre desempenho e apresentação ao criar sistemas de recuperação de informação que sejam amigáveis ao usuário.