Melhorando a Satisfação do Usuário com Modelos de Linguagem

Os grandes modelos de linguagem, como o ChatGPT, estão mudando a forma como a gente se comunica com a tecnologia. Eles são treinados em uma porção gigantesca de dados, o que ajuda a entender e criar textos que parecem humanos. Apesar de tudo isso, às vezes esses modelos têm dificuldade em entender claramente o que os usuários realmente querem. Isso pode deixar os usuários insatisfeitos com as respostas que recebem. Neste artigo, vamos explorar como esses modelos reconhecem o que os usuários querem dizer quando fazem perguntas e se mudar a forma como perguntamos pode melhorar a Satisfação do Usuário.

#O Que São Grandes Modelos de Linguagem?

Grandes modelos de linguagem são sistemas de computador avançados projetados para lidar com linguagem. Eles podem gerar texto, responder perguntas e até simular conversas. Esses modelos aprendem com uma quantidade enorme de dados textuais, ajudando-os a entender bem os padrões da linguagem. As aplicações são variadas, desde escrever artigos até resolver problemas complexos em diversas áreas.

#Por Que a Intenção do Usuário é Importante

Quando você faz uma pergunta ou dá um comando para um Modelo de Linguagem, você transmite sua intenção, ou o que espera conseguir com seu pedido. Por exemplo, se você diz "Me conta sobre mudanças climáticas", sua intenção é obter informações sobre esse assunto. Mas, se o modelo não reconhecer essa intenção corretamente, pode fornecer respostas irrelevantes ou insatisfatórias. Melhorar a forma como os modelos entendem a intenção do usuário pode aumentar a qualidade das interações e a satisfação geral do usuário.

#O Desafio do Reconhecimento da Intenção do Usuário

Entender a intenção do usuário com precisão nem sempre é fácil para esses modelos. A linguagem dos usuários pode ser vaga ou complexa, e cada pessoa pode expressar ideias semelhantes de formas diferentes. Essa variabilidade dificulta a interpretação correta dos pedidos pelos modelos. Por exemplo, perguntar "Como conserto um vazamento?" pode implicar em precisar de um guia passo a passo ou de uma solução rápida, dependendo da intenção do usuário.

Além disso, diferenças culturais e contexto desempenham um papel significativo. Uma frase que é clara em uma cultura pode confundir alguém de outra. À medida que os usuários continuam a interagir com esses modelos, suas expectativas também evoluem, adicionando mais complexidade ao reconhecimento da intenção.

#A Importância da Reformulação de Prompt

Uma forma de melhorar como os modelos de linguagem entendem a intenção do usuário é por meio da reformulação de prompts. Isso significa mudar a forma como perguntas ou comandos são formulados para ajudar o modelo a entender melhor. Por exemplo, ao invés de perguntar "Como está o tempo?", um usuário poderia dizer "Você pode fornecer uma previsão detalhada do tempo para hoje?" Isso torna o pedido mais claro e ajuda o modelo a dar uma resposta mais precisa.

Nossa pesquisa tem como objetivo determinar se reformular prompts com base em intenções do usuário claramente definidas leva a respostas melhores e a um aumento na satisfação do usuário.

#Taxonomia das Intenções do Usuário

Para estudar isso de forma eficaz, desenvolvemos um sistema de classificação abrangente para as intenções dos usuários. Isso inclui categorias como:

• Informacional: Buscando conhecimento sobre um tópico.
• Resolução de Problemas: Procurando soluções para questões específicas.
• Criativa: Pedindo ajuda para gerar ideias ou conteúdo.
• Educacional: Buscando ajuda para aprender ou entender conceitos.
• Interação Pessoal: Engajando em conversas casuais ou pedindo conselhos.
• Técnica e Profissional: Pedindo insights profissionais ou orientações técnicas.
• Transacional: Envolvendo pedidos por serviços ou produtos.
• Ética e Filosófica: Discutindo questões morais ou filosóficas.

Cada uma dessas categorias ajuda a delinear os diversos motivos pelos quais as pessoas interagem com modelos de linguagem.

#Visão Geral do Estudo com Usuários

Para explorar a eficácia do reconhecimento da intenção e da reformulação de prompts, conduzimos um estudo com usuários em três fases.

#Fase 1: Avaliando o Reconhecimento da Intenção

Nesta fase, avaliamos o quão bem dois modelos de linguagem diferentes, GPT-3.5 e GPT-4, podiam reconhecer a intenção do usuário. Participantes interagiram com prompts de conversa que já tinham sido pré-classificados de acordo com nossa taxonomia de intenções. Após interagir com o modelo, os participantes foram perguntados se concordavam com a interpretação da intenção feita pelo modelo. Se não concordassem, podiam escolher uma opção melhor da nossa taxonomia.

#Fase 2: Analisando a Satisfação do Usuário com Prompts Reformulados

Na segunda fase, os participantes receberam respostas tanto para seus prompts originais quanto para os prompts reformulados. Eles então indicaram qual resposta preferiam. Essa fase foi crucial para avaliar se reformular os prompts levou a respostas mais satisfatórias.

#Fase 3: Entendendo a Percepção do Usuário sobre Reformulação

Finalmente, buscamos entender como os participantes percebiam o conceito de reformulação. Perguntamos a eles se estavam dispostos a usar templates para reformulação de prompts e fornecemos exemplos para que pudessem tentar.

#Resultados do Estudo com Usuários

#Resultados do Reconhecimento da Intenção

Os resultados da primeira fase mostraram que o GPT-4 se saiu melhor que o GPT-3.5 em reconhecer intenções comuns, alcançando cerca de 90% de precisão em comparação com 75% do GPT-3.5. No entanto, o GPT-3.5 às vezes superou o GPT-4 quando se tratava de reconhecer intenções menos comuns.

#Preferências dos Usuários por Respostas

Na segunda fase, ao comparar a satisfação das respostas entre os dois modelos, os participantes geralmente preferiram as respostas para seus prompts originais. Para o GPT-3.5, cerca de 57% dos participantes escolheram as respostas originais, enquanto o GPT-4 teve uma taxa de preferência de cerca de 54%. Curiosamente, para certas categorias de intenção, os usuários gostaram mais das respostas reformuladas, especialmente com o GPT-4 em áreas como resolução de problemas e geração de ideias.

#Compreensão do Usuário sobre Reformulação

Na última fase, descobrimos que os usuários estavam abertos a usar templates de reformulação de prompts. Eles mostraram disposição para tentar essas técnicas para melhorar suas interações com os modelos de linguagem. Muitos participantes reconheceram os benefícios de formular suas perguntas de forma cuidadosa.

#Discussão dos Resultados

Nosso estudo destacou vários pontos importantes sobre a relação entre o reconhecimento da intenção do usuário e a satisfação:

1. Melhorias no Modelo: O progresso significativo no reconhecimento da intenção entre os dois modelos indica avanços na compreensão das consultas dos usuários.

2. Desafios com Intenções Incomuns: Ambos os modelos tiveram dificuldade com intenções menos frequentes, sugerindo espaço para melhorias nessas áreas.

3. Preferências dos Usuários: Muitos usuários ainda preferiram respostas para seus prompts originais, mesmo que essas não fossem tão satisfatórias quanto as respostas reformuladas.

4. Educação dos Usuários: Ensinar os usuários a reformular seus prompts de forma mais eficaz é essencial para melhorar a qualidade das interações.

#Limitações e Pesquisa Futura

Enquanto nossos achados são significativos, algumas limitações devem ser reconhecidas. Por exemplo, a distribuição desigual das intenções dos usuários pode afetar os resultados. Além disso, entender como os usuários percebem a precisão das saídas do modelo continua sendo um desafio. Estudos futuros poderiam focar em melhorar o reconhecimento da intenção para pedidos menos comuns e educar os usuários sobre comunicação eficaz com modelos de linguagem.

#Conclusão

Para concluir, nossa pesquisa ilumina as capacidades em evolução dos modelos de linguagem em reconhecer intenções do usuário e o impacto da reformulação de prompts na satisfação do usuário. Os resultados sugerem que, embora esses modelos estejam melhorando, ainda há muito trabalho a ser feito para aprimorar a forma como interpretam os pedidos dos usuários. Focando em uma compreensão clara das intenções do usuário e incentivando uma formulação eficaz de prompts, podemos ajudar a reduzir a lacuna entre tecnologia e expectativas dos usuários, levando a interações mais satisfatórias com assistentes digitais.