Avaliação de Modelos de Linguagem Grandes com Texto Estruturado

Muitas empresas coletam e armazenam grandes quantidades de Dados Estruturados. Esses dados são organizados e fáceis de analisar. Com a melhoria da tecnologia, há uma necessidade crescente de modelos que consigam entender diretamente dados estruturados, especialmente em formatos não estruturados. Este artigo apresenta um novo método para verificar como os grandes modelos de linguagem (LLMs) conseguem lidar com texto estruturado.

#A Necessidade de Entender Dados Estruturados

Dados estruturados, como tabelas ou listas, são importantes para as empresas porque permitem armazenar e analisar informações de forma sistemática. Isso é muito mais fácil do que dados não estruturados, que são caóticos e mais difíceis de processar. Avanços recentes em LLMs mudaram o foco para como esses modelos podem trabalhar com dados não estruturados. No entanto, dados estruturados também podem ser expressos de maneiras como texto, o que levanta a questão se os LLMs conseguem interpretar dados estruturados quando apresentados como texto comum.

Embora algumas pesquisas tenham investigado como os LLMs entendem texto estruturado, o foco tem sido principalmente em apenas alguns tipos, como tabelas ou JSON. Muitas outras formas de dados estruturados não foram bem examinadas. Os testes existentes muitas vezes dependem de dados que as pessoas verificaram manualmente, o que pode limitar sua eficácia.

#Apresentando um Novo Método de Teste

Para abordar essa lacuna, desenvolvemos um método para criar automaticamente dados de Avaliação especificamente para avaliar quão bem os LLMs entendem texto estruturado. Esse método pode gerar dados em vários formatos, facilitando o teste de diferentes habilidades dos LLMs. Chamamos esse benchmark de StrucText-Eval. Ele inclui milhares de perguntas em vários formatos e tarefas estruturadas, permitindo que avaliemos abrangentemente as capacidades dos LLMs.

#Estrutura do StrucText-Eval

O StrucText-Eval contém mais de 6.000 perguntas e cobre oito formatos de dados estruturados, incluindo JSON, YAML e Markdown. Ele também possui várias tarefas que exigem que o modelo demonstre sua compreensão de dados estruturados. Para desafiar ainda mais os modelos, há um subconjunto conhecido como StrucText-Eval-Hard, projetado para empurrar os limites de sua compreensão.

#Resultados do Benchmark

Os resultados preliminares mostram que os melhores LLMs atualmente alcançam uma precisão de cerca de 65% nas perguntas difíceis, enquanto os testadores humanos pontuaram em torno de 95%. Essa lacuna substancial indica que os LLMs ainda têm dificuldade em entender dados estruturados complexos. Embora o ajuste fino dos LLMs com nosso benchmark possa melhorar seu desempenho, isso não garante um aumento em todos os tipos de tarefas.

#Importância dos Formatos de Dados Estruturados

Dados estruturados vêm em vários formatos diferentes, e cada um tem suas próprias regras e estruturas. Exemplos incluem estruturas de árvore, tabelas e notação de objeto (como JSON ou XML). Compreender esses vários formatos é crucial para os LLMs, pois eles precisam executar corretamente tarefas que exigem interpretar dados nessas estruturas.

#Desafios na Avaliação de LLMs

Quando comparados a testadores humanos, os LLMs mostram que têm espaço para melhorar sua capacidade de entender dados estruturados. As avaliações atuais costumam focar muito em certos formatos, ignorando muitas aplicações possíveis.

O desafio está na complexidade dos dados estruturados e nas sutilezas envolvidas na interpretação. Por exemplo, linguagens estruturadas podem ter características únicas que o texto comum não possui, tornando-as mais difíceis para os modelos de linguagem compreenderem completamente.

#Como Funciona o StrucText-Eval

O StrucText-Eval utiliza uma abordagem sistemática para avaliar os modelos na compreensão de dados estruturados. Ao construir árvores de estrutura abstratas e criar templates de perguntas específicas, conseguimos ajustar a complexidade dos dados de avaliação gerados.

#Taxonomia de Textos Ricos em Estrutura

A avaliação cobre uma ampla gama de dados estruturados, categorizados em diferentes tipos de acordo com seu formato. Há uma taxonomia clara que classifica esses formatos e destaca suas características únicas.

O benchmark inclui tipos estruturados como:

• Estruturas de árvore
• Formatos tabulares
• Notação de objeto (JSON, YAML e XML)

Há também tipos semi-estruturados como linguagens de marcação (Markdown, LaTeX e Org). Essa classificação ajuda a entender como os LLMs se saem em diferentes tipos de dados estruturados.

#Geração de Dados de Avaliação

A criação dos dados de avaliação vem da configuração de perguntas template e do desenvolvimento de algoritmos para encontrar respostas. Cada pergunta no conjunto de dados consiste em quatro partes principais: Referência, Pergunta, Requisito e Resposta. Ao seguir esses padrões, garantimos uma abordagem consistente na avaliação dos LLMs.

#Avaliação e Análise de Desempenho

Nos experimentos, testamos vários LLMs, tanto de código fechado quanto de código aberto, para ver como se saíram nas tarefas fornecidas pelo StrucText-Eval. Cada modelo foi submetido a vários designs de prompts para examinar as diferenças de desempenho.

#Método Baseado em Prompt

Diferentes estratégias de prompt foram usadas para ver como elas impactavam o desempenho do modelo. As abordagens incluíam:

• Questionamento direto, onde apenas a pergunta segue a entrada estruturada.
• Pensando em voz alta, onde o modelo explica seu raciocínio antes de responder.
• Fornecendo exemplos para ajudar a orientar o modelo na compreensão da tarefa.

#Métodos de Ajuste Fino

Além disso, várias estratégias de ajuste fino foram implementadas para melhorar o desempenho dos modelos existentes com dados estruturados. O ajuste fino demonstrou resultados promissores, especialmente em linguagens específicas como YAML e estruturas de árvore.

#Insights dos Resultados

Através de todas as avaliações, ficou claro que há uma lacuna significativa entre os modelos de melhor desempenho e a compreensão humana de dados estruturados. Os LLMs frequentemente enfrentam dificuldades com tarefas que exigem uma compreensão profunda dos elementos estruturais, particularmente quando lidam com formatos complexos.

#Tarefas Procedurais Desafiam os LLMs

Uma área onde os LLMs tendem a se sair mal é em tarefas procedurais que envolvem manipulação e compreensão de informações estruturadas. Essas tarefas muitas vezes exigem que o modelo siga uma sequência de passos ou lógica, o que pode ser difícil para eles gerenciarem.

Métricas de desempenho mostraram que, à medida que a complexidade das perguntas aumentava, os modelos enfrentavam maiores desafios, destacando a necessidade de melhorar os métodos de treinamento e avaliação.

#Direções Futuras

O StrucText-Eval abre a porta para mais pesquisas sobre como os modelos podem entender melhor o texto estruturado. Também destaca a necessidade de desenvolver métodos de treinamento mais sofisticados para aprimorar as capacidades dos modelos em lidar com diversas linguagens estruturadas.

#Conclusão

Em resumo, o StrucText-Eval serve como uma ferramenta essencial para avaliar e melhorar como os LLMs compreendem dados estruturados. Embora tenha havido progresso notável, lacunas significativas permanecem entre as habilidades dos modelos e o desempenho humano. As descobertas enfatizam a importância de esforços contínuos para refinar técnicas de avaliação e aprimorar o treinamento dos modelos para fechar essas lacunas.

Ao focar em dados estruturados e seus vários formatos, podemos trabalhar para desenvolver modelos que não apenas respondam com precisão, mas também demonstrem uma compreensão mais profunda das complexidades inerentes aos textos estruturados.