Avaliando o Raciocínio Lógico em Modelos de Linguagem Grandes

Modelos de linguagem grandes (LLMs) deram um grande passo em entender e gerar a linguagem humana. Eles mostraram habilidades incríveis em tarefas como tradução, resumir textos e até em conversas casuais. Embora esses modelos consigam lembrar de fatos dos dados com os quais foram treinados, ainda não entendemos completamente a habilidade deles de usar essas informações para Raciocínio lógico.

Neste artigo, avaliamos quão bem os LLMs conseguem raciocinar sobre questões complexas baseadas em Conhecimento factual. Para investigar isso, criamos um benchmark-a set de perguntas desafiadoras que exigem que os modelos realizem vários tipos de raciocínio lógico usando informações de gráficos de conhecimento.

#O Desafio do Raciocínio Lógico

Quando as pessoas pensam em raciocínio lógico, elas imaginam resolver problemas que precisam de várias etapas. Por exemplo, se alguém sabe que Paris é a capital da França e que a França faz fronteira com a Bélgica, essa pessoa pode descobrir qual a capital mais próxima de Paris, excluindo Paris. Esse tipo de raciocínio, que combina várias informações, é crucial em muitas situações do dia a dia, como na área da saúde e para responder a perguntas complexas.

No entanto, a maioria das avaliações existentes dos modelos de linguagem se concentrou na habilidade deles de lembrar de fatos simples, como "Qual é a capital da França?" ou "Quais proteínas estão ligadas ao câncer de pulmão?" Não houve um foco suficiente em se esses modelos conseguem combinar fatos para responder perguntas mais complicadas.

#Criando um Benchmark para Avaliação

Para preencher essa lacuna, nós projetamos uma nova ferramenta de benchmark. Essa ferramenta gera automaticamente perguntas que exigem raciocínio em múltiplas etapas usando conhecimento de áreas gerais e especializadas, especialmente na medicina. As perguntas envolvem operações como interseções, uniões e negações, que são comuns no raciocínio lógico.

Fizemos experimentos com vários LLMs de ponta para ver como eles se saíram nesse benchmark. Descobrimos que, enquanto os LLMs lidam bem com conhecimento geral, eles têm dificuldades significativas com conhecimento Especializado ou detalhado, como no caso da biomedicina.

#Observações dos Experimentos

Os resultados revelaram algumas descobertas importantes:

1. Forças e Fraquezas: Os LLMs se saíram bem ao usar conhecimento geral, mas tiveram dificuldades com detalhes específicos em áreas como fatos biomédicos. Isso indica um desafio maior ao lidar com conhecimento especializado.

2. Desafios com Negações: Os modelos tiveram dificuldade com perguntas que envolvem negações ou exclusões. Por exemplo, entender uma pergunta que requer identificar o que não está incluído é um grande desafio para eles.

3. Comparação de Operações de Conjunto: Outra descoberta interessante foi que os LLMs se saíram melhor em operações de união, que envolvem combinar conjuntos, em comparação com operações de interseção, que exigem identificar elementos comuns em conjuntos. Isso sugere uma disparidade em como eles lidam com esses dois tipos de operações lógicas.

4. Impacto das Técnicas de Raciocínio: Descobrimos que usar uma técnica chamada Chain-of-Thought prompting-onde os passos de raciocínio são explicitamente detalhados-pode aumentar significativamente o desempenho dos modelos em perguntas complexas. Ao dividir o processo de raciocínio em etapas claras, os modelos se saíram melhor em entender e resolver tarefas de raciocínio em múltiplas etapas.

5. Escolhendo Melhores Exemplos: Selecionar exemplos demonstrativos que se alinham bem com a pergunta melhorou o desempenho do modelo. Usar exemplos que compartilham características semelhantes ajuda o modelo a entender melhor o que está sendo perguntado.

#O Framework de Avaliação

O framework de avaliação que desenvolvemos busca avaliar de forma abrangente quão bem os LLMs conseguem realizar raciocínio lógico. Criamos 5.200 perguntas que abrangem 26 padrões lógicos diferentes, cobrindo tanto conhecimento geral quanto conhecimento biomédico especializado.

Esse framework é essencial porque não apenas testa a habilidade dos modelos de lembrar de fatos, mas também sua habilidade em sintetizar e utilizar esses fatos em tarefas de raciocínio lógico.

#Tipos de Consultas Lógicas e Profundidade do Raciocínio

Nosso framework usa vários tipos de consultas lógicas definidas por suas operações, como conjunções (E), disjunções (OU) e negações (NÃO). Agrupamos essas consultas em famílias com base em suas operações principais. Por exemplo, algumas consultas focam em projetar relacionamentos, enquanto outras lidam com interseções e uniões de conjuntos.

Observamos como a profundidade do raciocínio-significando quantas etapas consecutivas estão envolvidas em responder uma pergunta-impacta o desempenho. Conforme as perguntas se tornavam mais complexas, exigindo um raciocínio mais profundo, o desempenho dos modelos tendia a cair.

#Resultados e Insights

Ao testar oito LLMs líderes, encontramos uma tendência clara: o desempenho caiu significativamente com perguntas mais complexas, principalmente aquelas que envolvem negações ou operações lógicas mais profundas. Por exemplo, o modelo que teve o melhor desempenho mostrou uma diferença notável em precisão ao responder perguntas mais fáceis em comparação com as mais desafiadoras.

Nossa análise revelou que, enquanto modelos como GPT-4o entregaram os melhores resultados no geral, todos os modelos tiveram dificuldades semelhantes com tarefas de raciocínio complexas. Isso indica uma limitação compartilhada entre os LLMs atuais que precisa ser abordada para melhorar suas capacidades de raciocínio.

#Melhorando as Capacidades de Raciocínio

Exploramos métodos para melhorar as habilidades de raciocínio dos LLMs. Técnicas como Chain-of-Thought prompting mostraram-se promissoras. Ao revelar os passos intermediários de raciocínio dentro da pergunta, os modelos puderam estruturar melhor seus processos de pensamento.

Além disso, a seleção de demonstrações provou ser uma estratégia valiosa para melhorar o desempenho. Ao selecionar exemplos que se relacionam mais com a tarefa atual, os modelos são melhor alinhados com os requisitos específicos das perguntas sendo feitas.

#Conclusão

Em conclusão, nossa avaliação mostra que, embora os LLMs sejam proficientes em lidar com conhecimento geral, eles enfrentam desafios significativos com tarefas de raciocínio mais complexas, especialmente aquelas que requerem uma compreensão profunda de conhecimento especializado. Esforços para melhorar seu desempenho por meio de técnicas como Chain-of-Thought prompting e seleção de demonstrações são promissores, mas ressaltam a necessidade de mais desenvolvimento nas capacidades de raciocínio dos modelos de linguagem.

Esse trabalho não só ilumina as forças e limitações dos LLMs atuais, mas também fornece uma base para pesquisas contínuas. Ao liberar nosso benchmark de avaliação e código, nosso objetivo é incentivar mais estudos nessa área e, em última análise, promover avanços nas capacidades de raciocínio dos modelos de linguagem grandes.