Check-Eval: Um Novo Jeito de Medir a Qualidade do Texto

Avaliar a Qualidade de Textos produzidos por grandes modelos de linguagem (LLMs) pode ser complicado. Métodos padrão geralmente não refletem bem as opiniões humanas, especialmente quando o texto exige criatividade ou sutileza. Para resolver esse problema, apresentamos o Check-Eval, um novo método que usa checklists para avaliar a qualidade do texto gerado.

O Check-Eval funciona em duas etapas principais: criar um checklist e usá-lo para avaliar o texto. Esse método pode verificar a qualidade do texto com ou sem um texto de referência, tornando-o flexível. Testamos o Check-Eval usando dois conjuntos de dados relacionados a textos jurídicos em português e resumos de texto. Nossos achados mostram que o Check-Eval se alinha melhor com as opiniões humanas do que alguns métodos de Avaliação existentes. Isso mostra seu potencial como uma forma mais confiável de avaliar a qualidade do texto em tarefas de geração de linguagem.

#A Necessidade de Melhores Avaliações

Avaliar textos gerados automaticamente é um problema persistente na área de geração de linguagem. Métodos tradicionais como BLEU, ROUGE e METEOR têm sido amplamente usados, mas muitas vezes não se relacionam bem com as opiniões humanas, especialmente em tarefas criativas como geração de diálogos ou sumarização. Apesar dos avanços nos LLMs que podem produzir textos fluentes e de alta qualidade, o desafio continua em julgar esse output com precisão.

Métodos recentes usando LLMs como avaliadores têm mostrado promessas, mas ainda enfrentam dificuldades em alcançar um alinhamento confiável com as visões humanas. Essa lacuna destaca a necessidade de sistemas de avaliação aprimorados que possam conectar métricas automatizadas e julgamentos Humanos, garantindo que os textos gerados atendam a padrões de coerência, relevância e qualidade.

#Apresentando o Check-Eval

O Check-Eval visa superar esses problemas usando os pontos fortes dos LLMs para avaliar a qualidade do texto por meio de uma abordagem baseada em checklist. Nesse método, o LLM gera um checklist de elementos importantes que deveriam estar presentes em um texto de qualidade. Esse checklist é baseado em um documento de referência ou critérios específicos de avaliação, tornando-o uma maneira clara e estruturada de avaliar o texto.

O processo começa com o LLM criando um checklist de pontos-chave que devem estar presentes no texto. Ao comparar o texto gerado com esse checklist, o Check-Eval fornece uma avaliação detalhada da qualidade, focando em aspectos como consistência de conteúdo, coerência e relevância.

#Cenários de Avaliação

Testamos o Check-Eval em dois cenários principais, ambos baseados em julgamentos humanos. O primeiro envolveu um conjunto de dados para avaliar a similaridade semântica de textos jurídicos em português. O segundo analisou um conjunto de dados para resumir textos. Nossos experimentos mostraram que o Check-Eval alcança um melhor alinhamento com os julgamentos humanos do que outros métodos, destacando sua capacidade de identificar áreas onde os resumos gerados podem melhorar.

#Principais Funcionalidades do Check-Eval

O Check-Eval tem várias características importantes:

1. Abordagem Estruturada: O checklist fornece uma referência clara para o que deve estar em um texto de qualidade.
2. Uso Versátil: O Check-Eval pode ser adaptado para diferentes cenários de avaliação, dependendo se um texto de referência está disponível ou não.
3. Feedback Acionável: Ao indicar áreas específicas para melhoria, o Check-Eval ajuda a refinar o processo de geração de texto.

#Trabalhos Relacionados

Avaliar textos gerados automaticamente tem sido um desafio antigo. Métricas tradicionais, embora comumente usadas, lutam para se alinhar ao julgamento humano, especialmente em tarefas criativas. Recentemente, frameworks de avaliação mais avançados surgiram que utilizam LLMs, como GPTScore e G-Eval.

O GPTScore se concentra em avaliar a probabilidade atribuída ao texto gerado pelos LLMs, funcionando sem textos de referência. Este método reportou melhores alinhamentos com julgamentos humanos, particularmente em tarefas abertas. No entanto, pode carecer de interpretabilidade e pode ter viés em relação a textos semelhantes aos exemplos vistos durante o treinamento do modelo.

O G-Eval adota uma abordagem diferente, utilizando o GPT-4 para melhorar as avaliações através de um processo passo a passo. Este método mostrou melhorias no alinhamento com as avaliações humanas, especialmente em tarefas de sumarização e diálogo. Ele gera múltiplas amostras para lidar com questões de distribuição de pontuações, oferecendo uma avaliação mais nuançada da qualidade do texto.

Embora esses métodos marquem progresso, o Check-Eval visa abordar suas limitações por meio de uma abordagem de checklist. Em vez de depender apenas de outputs estatísticos, o Check-Eval se concentra em pontos de conteúdo específicos do texto. Este método permite uma avaliação mais organizada e informativa da qualidade e relevância.

#Como o Check-Eval Funciona

O Check-Eval consiste em duas etapas principais: geração do checklist e avaliação do checklist. A geração do checklist envolve criar um conjunto de perguntas de sim/não que representam elementos-chave que o texto deve incluir. Essas perguntas são projetadas para serem claras e focadas, capturando os conceitos principais enquanto evitam detalhes desnecessários.

#Geração do Checklist

Nesta etapa, o LLM gera um checklist baseado no texto de referência ou no texto candidato. Dependendo do cenário de avaliação, o checklist pode destacar pontos importantes para verificar consistência, coerência, relevância e fluência.

Depois de gerar o checklist, o próximo passo é usá-lo para avaliar o texto candidato. Isso envolve solicitar ao LLM que compare o conteúdo do texto candidato com o checklist, determinando se cada ponto-chave está presente ou ausente.

#Avaliação do Checklist

Na etapa de avaliação, o LLM avalia o texto candidato com base no checklist gerado. O processo envolve examinar se o texto candidato se alinha com os pontos-chave observados no checklist, o que leva a uma pontuação refletindo sua qualidade geral. A pontuação final indica quão bem o texto captura elementos essenciais, fornecendo uma medida quantitativa da qualidade.

#Configurações Experimentais

Avaliar o Check-Eval usando dois conjuntos de dados diferentes. O primeiro foi o conjunto de dados de Similaridade Textual Semântica Jurídica em Português, que forneceu pares de documentos jurídicos anotados com pontuações de similaridade. Focamos em pares de textos rotulados por especialistas jurídicos e aqueles anotados usando métodos automatizados.

O segundo conjunto de dados foi o SummEval, que consiste em resumos de artigos de notícias. As anotações humanas nesse conjunto de dados focam em várias dimensões de qualidade, incluindo coerência, consistência, fluência e relevância. Avaliamos o desempenho do Check-Eval em ambos os cenários para determinar sua eficácia.

#Resultados e Conclusões

O Check-Eval se saiu bem em ambos os conjuntos de dados. No conjunto de dados em português, o Check-Eval mostrou pontuações de correlação mais altas com os julgamentos humanos do que as anotações automatizadas, demonstrando sua confiabilidade na avaliação de textos jurídicos.

Para o conjunto de dados do SummEval, o Check-Eval foi comparado a métricas de avaliação existentes. Ele alcançou correlações impressionantes com as opiniões humanas em diferentes critérios, mostrando sua robustez na avaliação da qualidade. No geral, o Check-Eval superou outros métodos, refletindo sua abordagem detalhada e estruturada para a avaliação.

#Conclusão

Em resumo, o Check-Eval apresenta um método novo e eficaz para avaliar textos gerados automaticamente. Ao utilizar LLMs para criar checklists de pontos-chave de conteúdo, o Check-Eval fornece uma maneira estruturada de avaliar a qualidade do texto que se alinha de perto com os julgamentos humanos.

O método demonstra alto desempenho em várias dimensões de qualidade do texto, provando ser uma ferramenta valiosa para tarefas de geração de linguagem. À medida que continuamos a aprimorar o Check-Eval, esperamos que ele contribua significativamente para o campo da avaliação de textos, oferecendo vantagens claras em relação aos métodos tradicionais.

#Direções Futuras

Olhando para frente, há espaço para melhorias. Algumas limitações incluem a dependência do LLM subjacente, que pode não fornecer sempre resultados consistentes. Além disso, os recursos computacionais necessários podem ser uma barreira para alguns pesquisadores.

Esforços futuros se concentrarão em aumentar a eficiência do Check-Eval e ampliar sua aplicação para várias tarefas de geração de linguagem. Além disso, aprimorar o processo de geração do checklist ajudará a minimizar potenciais viéses e melhorar a robustez das avaliações, solidificando o Check-Eval como um método líder na área.