Melhorando LLMs com Pseudo-Código para Raciocínio em Gráficos

Modelos de Linguagem Grandes (LLMs) avançaram muito na hora de entender e resolver várias tarefas em processamento de linguagem natural. Recentemente, os pesquisadores começaram a usar esses modelos em problemas relacionados a grafos. Grafos são estruturas feitas de nós (ou pontos) e as conexões entre eles, chamadas de arestas. Tarefas como contar o número de partes conectadas em um grafo ou encontrar a menor distância entre dois pontos foram exploradas usando LLMs. No entanto, mesmo que esses modelos consigam lidar com algumas tarefas de grafos, eles ainda têm dificuldade com certos problemas que podem parecer simples.

Esse artigo analisa se dar instruções em um formato de código simplificado pode melhorar o Desempenho dos LLMs na solução de problemas de grafos. Usando prompts estruturados, a ideia é ajudar os modelos a seguir passos mais claros em seu raciocínio. Os resultados mostram que proporcionar esse tipo de instrução pode melhorar como os LLMs trabalham em várias tarefas relacionadas a grafos.

#A Ascensão dos Modelos de Linguagem Grandes

Nos últimos anos, os LLMs ganharam muita atenção, tanto na comunidade acadêmica quanto entre o público em geral. O sucesso deles em áreas como medicina e desenvolvimento de software gerou esperanças de que eles possam, eventualmente, levar a formas mais avançadas de inteligência artificial. Esse crescimento se deve a melhorias nas técnicas de aprendizado de máquina, como o modelo Transformer, além da disponibilidade de grandes quantidades de dados e computadores mais potentes.

Embora os LLMs tenham sido inicialmente feitos para dados textuais, eles têm sido usados em outras áreas envolvendo grafos. Por exemplo, frequentemente são usados para criar grafos de conhecimento que ajudam em jogos baseados em texto, permitindo que personagens naveguem em ambientes mais complexos. Contudo, os LLMs podem nem sempre representar com precisão as relações entre diferentes entidades em um grafo. Isso pode levar a conclusões erradas ou respostas que parecem plausíveis, mas estão incorretas.

#Desafios no Raciocínio com Grafos

Apesar das conquistas dos LLMs em várias áreas, ainda não está claro se eles têm limitações fundamentais quando se trata de trabalhar com grafos. Alguns estudos investigaram a capacidade dos LLMs de raciocinar com grafos através de prompts em linguagem natural. Os resultados foram variados; enquanto alguns descobriram que os LLMs conseguem fazer Raciocínios básicos sobre grafos, outros observaram que eles lutam com tarefas simples, como contar as arestas em um grafo.

Prompts em linguagem natural podem, às vezes, ser vagos ou confusos, dificultando que os modelos forneçam respostas precisas. Em contraste, instruções detalhadas podem complicar o processo de raciocínio e prejudicar o desempenho. É aí que entra a engenharia de prompts, que busca refinar a forma como as tarefas são apresentadas para maximizar as habilidades do modelo.

#O Papel das Instruções em Pseudo-Código

Uma abordagem promissora é usar código simplificado, ou pseudo-código, para guiar os LLMs na resolução de problemas de grafos. O pseudo-código é menos ambíguo do que a linguagem natural e permite instruções diretas sobre como abordar uma tarefa. Por exemplo, em vez de explicar um procedimento complexo em frases, dá pra representar isso em um formato de código simplificado que delineia claramente cada passo.

Neste estudo, várias tarefas relacionadas a grafos foram selecionadas e instruções correspondentes em pseudo-código foram criadas para ajudar os LLMs a resolvê-las. Oferecendo essas instruções mais claras, os pesquisadores visavam determinar se os LLMs poderiam se sair melhor em tarefas de raciocínio sobre grafos.

#Tipos de Tarefas com Grafos

Várias tarefas podem ser realizadas em grafos, incluindo as seguintes:

1. Contagem de Nós: Contar o número de pontos individuais (nós) em um grafo.
2. Contagem de Arestas: Contar as conexões (arestas) entre os nós.
3. Grau do Nó: Medir o número de arestas conectadas a um nó específico.
4. Vizinhos: Identificar todos os nós que estão diretamente conectados a um determinado nó.
5. Componentes Conectados: Contar quantas partes distintas existem dentro de um grafo.
6. Verificação de Ciclo: Determinar se um grafo contém loops.
7. Árvore Geradora Mínima: Encontrar um conjunto de arestas que conecta todos os nós sem ciclos, usando o menor número de arestas.
8. Caminho Mais Curto: Calcular a menor distância entre dois nós.
9. Verificação Bipartida: Verificar se um grafo pode ser dividido em dois grupos separados sem conexões dentro desses grupos.
10. Ordenação Topológica: Arranjar nós em um grafo dirigido em uma ordem linear com base em suas conexões.

Algumas dessas tarefas são simples, enquanto outras são mais complexas e exigem mais passos para serem resolvidas.

#Criação de Dataset

Para avaliar os LLMs, foi criado um dataset com várias tarefas de grafos. Diferentes grafos foram gerados usando modelos como grafos de Erdős-Rényi, que são grafos aleatórios caracterizados por um número específico de nós e arestas. Para cada tarefa, três datasets foram produzidos, focando em grafos pequenos, médios e grandes. Isso permite que os pesquisadores avaliem como os LLMs lidam com tarefas de diferentes dificuldades.

#Comparação de Técnicas de Prompt

O estudo comparou o desempenho dos LLMs usando várias estratégias de prompting:

1. Prompting Zero-Shot: Pedir ao LLM para resolver uma tarefa sem exemplos ou treinamento anterior.
2. Prompting One-Shot: Fornecer um exemplo da tarefa junto com a saída desejada.
3. Prompting Build-a-Graph: Incluir uma frase que sugere construir um grafo antes de resolver a tarefa.
4. Zero-Shot Chain-of-Thought: Adicionar uma declaração para encorajar o raciocínio passo a passo.

Os resultados mostraram que as diferentes métodos de prompting afetaram o desempenho dos modelos de maneiras diferentes em tarefas e tamanhos de grafos.

#Desempenho dos LLMs em Tarefas Simples

Ao avaliar tarefas simples, como contar nós e arestas, os modelos mostraram diferentes níveis de eficácia dependendo da estratégia de prompting utilizada. Para grafos menores, os LLMs se saíram razoavelmente bem, mas a precisão deles tendia a diminuir à medida que o tamanho do grafo aumentava. Curiosamente, enquanto os métodos zero-shot e one-shot conseguiam contar nós com precisão, eles tiveram dificuldades significativas em contar arestas, especialmente em grafos maiores.

Por outro lado, o prompting em pseudo-código mostrou resultados promissores em tarefas como contagem de arestas, onde os LLMs normalmente lutavam. A tendência geral indicou que fornecer instruções estruturadas melhorou significativamente o desempenho em tarefas que eram mais desafiadoras para os modelos.

#Desempenho dos LLMs em Tarefas Complexas

Ao abordar tarefas de raciocínio sobre grafos mais complexas, os modelos demonstraram níveis de desempenho variados. Para tarefas como identificar componentes conectados e computar caminhos mais curtos, os resultados indicaram que instruções claras em pseudo-código poderiam aumentar significativamente a capacidade dos LLMs de responder com precisão.

Embora o prompting zero-shot tenha se desempenhado surpreendentemente bem em algumas tarefas, a adição do pseudo-código frequentemente resultou em maior precisão tanto para tarefas simples quanto complexas. Parece que a abordagem estruturada do pseudo-código facilita para os LLMs seguir passos lógicos e chegar às respostas corretas.

#Diferenças Entre os LLMs

O estudo também comparou dois LLMs: um modelo proprietário e um modelo open-source. Embora ambos os modelos tenham se beneficiado do uso de pseudo-código, seu desempenho variou entre diferentes tarefas e tamanhos de grafos. Isso destaca que a engenharia de prompts não é uma solução única; ela pode ter efeitos diferentes dependendo do modelo específico utilizado. O design cuidadoso dos prompts é crucial, já que o que funciona bem para um modelo pode não ser tão eficaz para outro.

#Insights e Conclusão

No geral, as descobertas desse estudo sugerem que usar pseudo-código pode melhorar o desempenho dos LLMs em tarefas de raciocínio sobre grafos, especialmente naquelas em que eles têm dificuldade. Os resultados enfatizaram que o desempenho é frequentemente influenciado pelo tamanho dos grafos e pela complexidade das tarefas apresentadas.

A pesquisa destacou a importância de prompts claros e estruturados para guiar os LLMs em um raciocínio melhor. Além disso, mostrou que mesmo em situações complexas, um único exemplo combinado com pseudo-código pode ser suficiente para levar a melhorias significativas.

Trabalhos futuros devem se concentrar em refinar ainda mais as técnicas de prompting, especialmente para grafos maiores, onde o desempenho tende a cair. No geral, o estudo indica que, embora os LLMs mostrem potencial no raciocínio sobre grafos, ainda há muito espaço para melhorias através de estratégias de prompting inovadoras. Com a pesquisa e desenvolvimentos em andamento, os LLMs têm potencial para se tornarem ainda mais competentes em enfrentar desafios de raciocínio complexos.