Avaliação de Modelos de Linguagem: A Abordagem GraphEval

Modelos de Linguagem Grande (LLMs) têm chamado muita atenção por causa da variedade de aplicações. Mas um problema sério que eles enfrentam é a "alucinação", que é quando eles geram respostas que parecem boas, mas não são verdadeiras. Este artigo fala sobre uma nova maneira de checar essas respostas quanto à precisão usando um sistema chamado GraphEval.

#A Necessidade de Avaliação

Com os LLMs ficando cada vez mais complexos, encontrar jeitos de avaliar o que eles produzem tá se tornando essencial. Os métodos atuais para checar se os LLMs estão dando informações corretas muitas vezes falham. Eles podem não explicar bem suas decisões, podem perder partes da resposta e podem ser lentos e caros. O GraphEval oferece uma solução usando Grafos de Conhecimento (KGs) para representar informações de uma maneira estruturada, permitindo uma detecção melhor de imprecisões.

#O que é o GraphEval?

O GraphEval foi criado pra dar uma visão de onde as Alucinações acontecem nas saídas dos LLMs. Mapeando a saída pra um KG, ele consegue apontar partes específicas da informação que estão erradas. Isso é diferente dos métodos anteriores que só davam uma ideia geral se a resposta estava certa ou não. Com o GraphEval, o processo é dividido pra mostrar exatamente quais partes são questionáveis.

#Combinando GraphEval com Modelos de NLI

Usando o GraphEval junto com modelos de inferência de linguagem natural (NLI), vemos melhorias na detecção de imprecisões. Esse método não só checa a resposta como um todo, mas também foca em partes individuais da informação, levando a uma precisão maior em testes feitos pra medir alucinações.

#Corrigindo Alucinações com o GraphCorrect

Além de detectar imprecisões, o GraphEval também ajuda a corrigi-las através de um método chamado GraphCorrect. Identificando quais partes da resposta provavelmente estão erradas, ele sugere correções apropriadas mantendo o restante da resposta intacto.

#Desafios na Avaliação

Avaliar linguagens é complicado. Métodos anteriores como BLEU e ROUGE focavam em similaridade geral e tinham dificuldades em checar precisão factual. Métodos mais novos começaram a focar em entender a relação entre as declarações, mas muitos ainda perdem detalhes críticos. Com o aumento dos LLMs, agora há mais interesse em usar esses próprios modelos pra avaliar suas saídas.

#O Processo de Construção de Grafos de Conhecimento

Criar KGs envolve várias etapas:

1. Detecção de Entidades: Encontrar e listar as entidades principais no texto.
2. Resolução de Coreferência: Identificar quando termos diferentes se referem à mesma entidade.
3. Extração de Relações: Determinar como essas entidades estão relacionadas.

O GraphEval utiliza uma abordagem simples ao combinar esses processos pra construir um KG que pode ser usado para avaliação.

#Processo de Detecção de Alucinações

Usar o GraphEval pra detecção de alucinações envolve esses passos:

• Criação de KG: A resposta do LLM é inserida pra criar um KG.
• Avaliação: Cada parte da informação no KG é checada contra o contexto pra identificar imprecisões.

Essa checagem sistemática ajuda a apontar onde as alucinações estão ocorrendo.

#Avaliação Experimental

Nos nossos experimentos, usamos vários benchmarks pra testar o desempenho do GraphEval. Esses incluíram SummEval, QAGS-C e QAGS-X, que focam em tarefas de resumo e checagem de precisão factual. Os resultados mostraram que o GraphEval melhorou as taxas de detecção e forneceu relatórios detalhados sobre imprecisões.

#Processo de Correção de Alucinações

O GraphCorrect funciona primeiro identificando quais triples provavelmente contêm alucinações e depois os corrige com base no contexto fornecido. Esse método garante que apenas as partes provavelmente erradas sejam modificadas, o que ajuda a manter a mensagem geral clara.

#Conclusão

O GraphEval oferece uma nova maneira de avaliar e corrigir as respostas dos LLMs. Usando KGs pra uma representação estruturada da informação, ele destaca imprecisões de forma eficaz e ajuda a fazer as correções necessárias. A estrutura é valiosa pra pesquisas e desenvolvimentos futuros no campo da avaliação de LLMs. À medida que as técnicas pra construir KGs melhoram, o desempenho do GraphEval também vai aumentar, aprimorando nossa capacidade de trabalhar com LLMs de maneira segura e eficaz.