NLPBench: Avaliando Modelos de Linguagem Grandes

Desenvolvimentos recentes em modelos de linguagem grandes (LLMs) mostraram que eles podem melhorar muito o processamento de linguagem natural (NLP). No entanto, não teve pesquisa suficiente focada em quão bem esses modelos conseguem resolver problemas de NLP. Para resolver isso, criamos um novo conjunto de dados de benchmark chamado NLPBench. Esse conjunto tem 378 perguntas que exigem conhecimento de nível universitário em vários tópicos de NLP, e as perguntas foram tiradas de provas finais da Universidade de Yale.

NLPBench inclui diferentes tipos de perguntas, como múltipla escolha, resposta curta e problemas matemáticos. Algumas perguntas têm contexto, ou seja, vêm com informações que ajudam a responder várias perguntas relacionadas de uma vez. Nossa avaliação analisa vários LLMs, como GPT-3.5, GPT-4, PaLM-2 e LLAMA-2, usando diferentes técnicas para estimular os modelos.

#A Necessidade do NLPBench

Nos últimos dez anos, LLMs se tornaram parte importante do campo de NLP. Eles mostraram um desempenho forte em muitas tarefas que exigem habilidades como compreensão de leitura e raciocínio matemático, às vezes superando até humanos. Mas uma pergunta crucial ainda fica: Esses modelos conseguem responder efetivamente perguntas relacionadas a NLP?

Para avaliar melhor os LLMs nesse contexto, desenhamos o NLPBench, que é focado em avaliar a capacidade deles de lidar com perguntas relacionadas a NLP. O conjunto cobre vários campos dentro de NLP, como Modelagem de Linguagem, análise sintática, semântica e recuperação de informações.

#Estrutura do NLPBench

O NLPBench consiste em 378 perguntas que são categorizadas com base em diferentes tópicos de NLP. Os tópicos incluem:

• Modelagem de Linguagem e Análise Sintática
• Semântica e Lógica
• Pragmática, Discurso, Diálogo e Aplicações
• Recuperação de Informações e Modelagem de Tópicos
• Inteligência Artificial e Outros Tópicos

Cada tipo de pergunta é projetado para avaliar diferentes habilidades dos LLMs. Perguntas com contexto exigem que o modelo entenda e responda com base em informações compartilhadas, enquanto aquelas sem contexto se concentram em responder perguntas únicas.

#Recursos do Conjunto de Dados

1. Inclusão de Problemas Relacionados a NLP: As perguntas demandam um entendimento sólido de vários conceitos de NLP para serem resolvidas efetivamente.
2. Inclusão de Soluções Detalhadas: Cada problema vem com soluções detalhadas para permitir uma avaliação completa do desempenho dos LLMs.
3. Inacessibilidade: As perguntas foram cuidadosamente selecionadas para garantir que não pudessem ser facilmente encontradas online, prevenindo qualquer viés na avaliação.
4. Estrutura Complexa: Muitas perguntas têm várias partes relacionadas que exigem um raciocínio cuidadoso para capturar a relação entre elas.

#Processamento de Dados

As perguntas no NLPBench estavam inicialmente disponíveis em formatos de texto e imagem. Usamos uma ferramenta online para convertê-las em texto simples e documentos LaTeX. Anotadores humanos verificaram cada problema em busca de erros para garantir qualidade e correção. Categorizaram as perguntas em três formatos principais: respostas curtas, múltipla escolha e matemática.

Cada pergunta recebeu uma resposta correta para avaliação. Para os problemas matemáticos, documentamos os passos envolvidos para chegar à resposta, que serve como um guia para os LLMs seguirem.

#Estatísticas do Conjunto de Dados

Do total de 378 perguntas no conjunto de dados NLPBench, temos:

• 192 perguntas de resposta curta
• 159 perguntas de múltipla escolha
• 27 perguntas matemáticas

As perguntas são categorizadas ainda por ter ou não contexto.

#Configuração do Experimento

Testamos tanto modelos online quanto de código aberto usando nosso conjunto de dados. Os modelos avaliados incluem GPT-3.5, GPT-4, PaLM-2 e ambas as versões do LLAMA-2.

Usamos diferentes métodos para estimular os modelos, incluindo zero-shot prompting, onde o modelo não usa exemplos anteriores, e few-shot prompting, onde alguns exemplos são fornecidos para guiar o modelo. Também testamos estratégias avançadas como chain-of-thought (CoT) e tree-of-thought (ToT) prompting.

#Zero-shot e Few-shot Prompting

• Zero-shot prompting testa a habilidade inata de resolução de problemas do modelo, já que ele não tem exemplos dos quais depender.
• Few-shot prompting inclui exemplos na entrada para ajudar o modelo a aprender com eles.

#Resultados e Análise

Analisamos os resultados do GPT-3.5, GPT-4, PaLM-2 e LLAMA-2, focando em quão bem eles se saíram em responder às perguntas. Aqui estão algumas descobertas principais:

#Desempenho do Modelo

O GPT-4 consistently superou outros modelos na maioria das categorias. Em muitas instâncias, obteve precisão significativamente maior em comparação com o LLAMA-2, especialmente quando nenhuma estratégia avançada de prompting foi aplicada. No entanto, descobrimos que estratégias avançadas de prompting não levaram sempre a melhores resultados e, às vezes, pioraram o desempenho.

#Few-shot Prompting

Os resultados indicam que few-shot prompting não melhora consistentemente o desempenho. Houve casos em que usar alguns exemplos levou a apenas melhorias ligeiras ou até diminuiu a precisão. Isso sugere que a eficácia do few-shot prompting depende da qualidade dos exemplos escolhidos.

#Consistência das Estratégias Avançadas de Prompting

O uso de estratégias avançadas de prompting mostrou resultados variados. Por exemplo, enquanto CoT ajudou levemente o GPT-3.5, teve o efeito oposto em outros modelos. Essa inconsistência ilustra a necessidade de considerar cuidadosamente quando e como aplicar essas estratégias.

#Avaliando a Relevância do Texto

Para medir quão bem as respostas geradas se alinham com as corretas, usamos métricas como BLEU, ROUGE-L e CIDEr. Essas métricas ajudam a avaliar quão próxima a resposta do modelo está da resposta esperada. Descobrimos que, enquanto alguns modelos pontuaram bem nessas métricas, sua precisão em termos de respostas reais ainda poderia ser baixa.

#Análise de Erros

Para entender melhor onde os modelos falham, fizemos uma análise de erros focando em duas habilidades principais:

1. Entendimento de Processamento de Linguagem Natural: Destacamos os erros cometidos por diferentes modelos, acompanhando seu desempenho em várias categorias de NLP.
2. Capacidade de Resolver Problemas de Nível Universitário: Classificamos os erros cometidos pelos modelos e identificamos várias razões para os erros.

#Habilidades Identificadas em Falta nos Modelos

Avaliar habilidades críticas de resolução de problemas que os modelos não tinham:

• Decomposição Lógica e Análise: Desmembrar perguntas em componentes mais simples e entender suas relações.
• Identificação de Suposições: Reconhecer as suposições em uma pergunta que são necessárias para respostas precisas.
• Raciocínio Causal: Entender relações de causa e efeito.
• Habilidades de Dedução de Problemas: Inferir soluções potenciais a partir de informações dadas.
• Raciocínio Abstrato: Entender conceitos complexos e reconhecer padrões.
• Raciocínio Lógico: Fazer argumentos fundamentados e identificar inconsistências.
• Cálculo: Realizar operações matemáticas com precisão.

Essas descobertas revelam uma forte conexão entre a capacidade de responder corretamente e ter habilidades em raciocínio lógico e decomposição.

#Trabalhos Relacionados

Benchmarks anteriores focaram principalmente em avaliar habilidades gerais dos modelos. Por exemplo, conjuntos de dados como SQuAD e GLUE avaliam compreensão de leitura e entendimento de linguagem natural. No entanto, a maioria não se concentrou em comunicação de múltiplas interações, que é um aspecto chave do nosso NLPBench.

#Conclusão

A introdução do NLPBench marca um passo essencial para avaliar as capacidades dos LLMs especificamente no contexto da resolução de problemas relacionados a NLP. O conjunto oferece uma ampla gama de perguntas que exigem que os modelos participem de conversas de múltiplas interações.

Resumindo, descobrimos que métodos de prompting mais simples costumam trazer bons resultados. Embora few-shot prompting possa ser benéfico, nem sempre é necessário e pode sobrecarregar o prompt com informações desnecessárias. Também há uma necessidade de treinar os modelos de forma mais eficaz para melhorar suas habilidades de raciocínio lógico, especialmente em areas de dedução de problemas e raciocínio lógico.

#Recomendações

1. Use Métodos de Prompting Simples: Métodos básicos de prompting costumam trazer resultados promissores sem complicações extras.
2. Evite Usar Demais Estratégias Avançadas de Prompting: Elas podem complicar a tarefa e podem levar a resultados enganosos.
3. Concentre-se em Treinar Habilidades de Raciocínio Lógico: Modelos devem ser treinados para aumentar habilidades como decomposição lógica e raciocínio.

Por fim, nossas descobertas apontam para caminhos claros para melhorar o desempenho dos LLMs na resolução de problemas de NLP - sugerindo que, com um treinamento focado e um prompting cuidadoso, esses modelos podem alcançar maior eficácia.