Aprimorando Consultas de Usuário com LLMs e Planejamento

Nos últimos anos, os modelos de linguagem grandes (LLMs) viraram febre pra ajudar a galera a completar várias tarefas interpretando e processando a linguagem natural. Essas tarefas geralmente dependem de diferentes interfaces de programação de aplicativos (APIS). Mas, muitas vezes, os usuários não dão todas as informações necessárias nas suas solicitações, o que pode dificultar a obtenção de resultados precisos. Esse artigo explica uma nova abordagem que combina LLMs com Raciocínio Lógico e Planejamento pra apoiar os pedidos dos usuários, mesmo quando a informação tá incompleta.

#O Desafio das Consultas dos Usuários

Os clientes frequentemente têm perguntas ou pedidos direcionados às organizações com que lidam. Esses pedidos podem variar bastante, incluindo procurar dados, pedir conselhos ou atualizar registros. Como os usuários podem não fornecer todos os detalhes necessários, fica essencial encontrar formas de identificar quais informações adicionais são necessárias pra atender os pedidos deles.

Por exemplo, se um usuário quer reservar um voo, mas esquece de mencionar a data da viagem, a consulta dele tá faltando uma informação chave. Métodos tradicionais costumam ter dificuldade em lidar com essas consultas incompletas, levando a respostas erradas ou perguntas inúteis pra esclarecer.

#Soluções Atuais e Suas Limitações

Vários frameworks existentes tentaram lidar com as consultas dos usuários usando LLMs e APIs. Mas, muitos deles dependem muito dos LLMs pra escolher e usar as ferramentas necessárias, o que pode limitar a capacidade deles de trabalhar com conjuntos maiores de APIs. Isso deixa eles menos eficazes pra aplicações do mundo real.

Alguns estudos recentes exploraram o uso de um planejador junto com um LLM. Um planejador pode considerar as condições iniciais, os resultados desejados e as possíveis ações pra criar um plano de como responder às consultas dos usuários. Mesmo assim, a maioria desses métodos só funciona com consultas completas, o que não é prático já que muitos pedidos dos usuários vão estar faltando informações.

#Nossa Abordagem

Pra superar essas limitações, nosso método proposto combina LLMs com raciocínio lógico e técnicas clássicas de planejamento. Essa abordagem foca em interpretar com precisão os pedidos dos usuários enquanto identifica qualquer informação que falta. Os passos desse processo são:

1. Tradução da Consulta do Usuário: O primeiro passo é converter o pedido de um usuário em um formato que possa ser processado por um planejador. Isso é feito usando um LLM, que traduz a consulta em uma representação intermediária.

2. Raciocínio Lógico: Uma vez que a consulta está representada no formato intermediário, aplicamos raciocínio lógico pra inferir qualquer informação faltante. Essa etapa usa uma ferramenta chamada Programação de Conjunto de Respostas (ASP) pra ajudar a preencher as lacunas no entendimento.

3. Gerar um Plano: Depois de identificar os detalhes que faltam, criamos um plano de como usar as APIs pra atender ao pedido do usuário. Esse plano inclui passos pra coletar informações faltantes, se necessário.

4. Execução: O plano final é executado, o que envolve fazer as chamadas relevantes das APIs na ordem certa, garantindo que todas as informações necessárias sejam coletadas e, no final, fornecer uma resposta ao usuário.

#Componentes Chave da Abordagem

1. LLMs pra Tradução: Usando LLMs só pra traduzir o pedido do usuário em um formato intermediário, conseguimos evitar problemas relacionados a ilusões, onde o modelo infere incorretamente informações.

2. ASP pra Raciocínio Lógico: ASP serve como uma ferramenta poderosa pra determinar detalhes adicionais que podem não ter sido incluídos no pedido inicial. Funciona aplicando regras lógicas com base nas informações fornecidas.

3. Planejamento Clássico: O uso de um planejador permite a orquestração de múltiplas chamadas de API de uma maneira coerente. Ele leva em consideração tanto as APIs disponíveis quanto os objetivos derivados do pedido do usuário.

4. APIs Especiais pra Coleta de Informações: Introduzimos uma API específica chamada "getinfoapi" pra solicitar informações faltantes do usuário ou de uma fonte externa quando necessário. Essa API é essencial pra lidar com consultas incompletas de forma eficaz.

#Consultas dos Usuários e Sua Representação

As perguntas dos usuários podem variar bastante. Algumas podem ser pedidos simples, enquanto outras podem envolver múltiplos objetivos ou tarefas. Pra lidar com isso, desenvolvemos uma forma estruturada de desmembrar as consultas:

1. Pedidos de Objetivo Único: São perguntas simples que têm um objetivo claro, como pedir um relatório de lucro e perda pra um período específico.

2. Pedidos de Múltiplos Objetivos: Envolvem cenários mais complexos onde o usuário pode querer realizar várias tarefas de uma vez, como solicitar um relatório financeiro e pedir um bate-papo com o atendimento ao cliente.

3. Lidando com Consultas Incompletas: A abordagem brilha quando enfrenta pedidos incompletos. Em vez de adivinhar informações faltantes, o método identifica ativamente o que tá faltando e busca coletar esses detalhes do usuário.

#Conjunto de Dados e Avaliação

Pra avaliar nosso método, criamos um conjunto de dados com consultas de usuários tanto completas quanto incompletas. Isso foi feito usando LLMs pra gerar pedidos diversos simulando interações do mundo real. Cada consulta do usuário foi rotulada com saídas esperadas pra medir a precisão da nossa abordagem.

Durante os testes, descobrimos que nossa combinação de LLMs, raciocínio lógico e planejamento superou significativamente uma abordagem padrão que usava só LLMs, especialmente com pedidos incompletos.

#Resultados e Observações

Quando comparamos nossa abordagem com um modelo básico que dependia apenas de LLMs pra lidar com consultas dos usuários, notamos melhorias notáveis. As taxas de sucesso tanto pra pedidos completos quanto incompletos mostraram um aumento substancial, frequentemente ultrapassando 95%. Essa melhoria veio de:

• A tradução precisa das consultas usando LLMs.
• A identificação eficiente de informações faltantes através do raciocínio lógico.
• A capacidade do planejador de criar planos viáveis que podiam se adaptar com base nas informações fornecidas.

No geral, essa abordagem integrada possibilita uma resposta mais confiável aos pedidos dos usuários enquanto reduz a chance de erros ao lidar com informações incompletas.

#Direções Futuras

Embora a abordagem atual seja eficaz, ainda existem áreas pra melhorias. Trabalhos futuros podem se concentrar em:

1. Escalonamento da Abordagem: À medida que as organizações crescem, o número de APIs e pedidos potenciais vai aumentar. Encontrar formas de gerenciar essa complexidade de forma eficiente vai ser vital.

2. Preferências dos Usuários: Atualmente, o sistema não considera preferências suaves dos usuários. Integrar esse aspecto poderia aumentar a qualidade das respostas.

3. Simplificação do Modelagem de Domínio: A necessidade de especificações precisas das APIs pode ser às vezes cansativa. Encontrar formas de facilitar esse requisito tornaria a abordagem mais adaptável a várias organizações.

#Conclusão

Em resumo, o uso combinado de LLMs, raciocínio lógico e planejamento clássico oferece uma solução robusta pra atender às consultas dos usuários, incluindo aquelas que estão incompletas. Ao identificar e adquirir ativamente informações faltantes, esse método garante que os usuários recebam respostas precisas e relevantes aos seus pedidos. À medida que o campo da IA continua evoluindo, técnicas inovadoras como essa vão desempenhar um papel crucial em melhorar a forma como os usuários interagem com as organizações através da linguagem natural.