Modelos de Linguagem Podem Substituir Julgamentos Humanos?

Grandes Modelos de Linguagem (LLMs) têm chamado a atenção pela capacidade de avaliar diferentes tipos de texto, como resumos e conversas. Mas, quão bons eles são nesse trabalho? Métodos tradicionais de checagem de qualidade de texto, como BLEU e ROUGE, simplesmente não funcionam bem na hora de medir os detalhes da escrita. Então, os pesquisadores estão explorando se os LLMs podem entrar em cena e oferecer uma avaliação melhor.

#O Desafio da Avaliação de Texto

Avaliar textos gerados é complicado porque muitas vezes não existe uma única resposta "certa". Pense em um concurso de comer torta. Pode haver várias maneiras de fazer uma torta incrível, mas só uma pessoa pode ganhar com base no gosto, textura e tudo mais. Da mesma forma, ao julgar resumos ou conversas, fatores como coerência e fluência são fundamentais. Esses elementos são difíceis de medir usando métodos tradicionais que só olham para a sobreposição de palavras.

Os juízes humanos sempre foram a escolha padrão para esse tipo de trabalho, mas eles têm suas falhas. Podem cometer erros e, quando se trata de grandes avaliações, podem ser lentos e inconsistentes. Além disso, vamos ser sinceros, nem todo mundo tem o mesmo gosto para tortas—uh, digo, avaliações! É aí que os LLMs entram. Eles podem oferecer uma maneira rápida e econômica de avaliar textos com base em seus vastos dados de treinamento.

#O Que Os Pesquisadores Fizeram

Na busca para examinar a confiabilidade dos LLMs como o Google Gemini 1, os pesquisadores queriam ver como esses modelos se comparam aos juízes humanos. Eles testaram diferentes maneiras de pedir aos modelos para avaliar um texto, dando razões para suas notas. Também queriam ver como esses modelos se comportam quando o texto de entrada fica um pouco esquisito—como se alguém acidentalmente derrubasse um pouco de torta nele.

#Os Conjuntos de Dados

Para realizar os testes, os pesquisadores usaram dois conjuntos de dados específicos. O primeiro, SummEval, traz resumos gerados a partir de artigos. O segundo, USR, contém conversas de registros de chat. Cada conjunto de dados possui muitos exemplos onde juízes humanos já avaliaram a qualidade do texto. Isso proporcionou uma base sólida para comparação com as avaliações do modelo.

#Métodos de Teste

Os pesquisadores usaram uma variedade de métodos para pedir as avaliações dos modelos. Eles tentaram as seguintes estratégias:

1. Zero-Shot: O modelo gera uma nota com base em sua própria compreensão sem contexto extra.
2. Knowledge-Prompt: O modelo recebe definições dos conjuntos de dados para guiar sua nota.
3. Few-Shot: O modelo vê exemplos de notas altas e baixas para informar suas avaliações.
4. Chain-of-Thought: O modelo deve raciocinar sobre sua nota passo a passo.

Eles escolheram a estratégia Knowledge-Prompt como abordagem base porque parecia a mais alinhada com o jeito que especialistas humanos avaliavam os textos.

#Perturbações: O Desafio

Os pesquisadores não pararam de verificar como os modelos se saíam em condições normais. Eles resolveram lançar alguns desafios—e se mudassem partes do texto de entrada para ver como os modelos reagiriam? Isso é chamado de "perturbação", um termo chique para “bagunçar as coisas”.

Eles criaram o que chamam de "Avaliação Perturbada" (PR), que distorceu o sistema de pontuação usual para ver se o modelo ainda conseguiria fornecer uma avaliação razoável. A ideia era dificultar as coisas para o modelo, forçando-o a mostrar como suas habilidades de avaliação são flexíveis ou rígidas.

#Medindo a Consistência

Para ver o quão de perto as avaliações dos LLMs combinavam com os julgamentos humanos, os pesquisadores usaram uma medida estatística conhecida como alfa de Krippendorff. Esse método ajuda a determinar quão consistentes diferentes avaliadores são, sejam humanos ou máquinas.

Quando checaram as notas dos juízes humanos e do modelo, encontraram alguns padrões interessantes. As notas do modelo variaram pouco quando diferentes estratégias de solicitação foram usadas, o que significa que teve uma abordagem consistente. No entanto, os avaliadores humanos mostraram mais inconsistência, provavelmente devido a interpretações pessoais.

#Os Resultados

Como esperado, o modelo se saiu bem em cenários de avaliação normais. Mas quando se tratou de lidar com entradas perturbadas, as coisas ficaram complicadas. A concordância das notas entre o modelo e os juízes humanos caiu bastante. Isso foi especialmente verdade para métricas que avaliam coerência e fluência. Claramente, os modelos tiveram dificuldade quando apresentados a informações conflitantes, o que é um desafio importante para usá-los como avaliadores confiáveis.

Curiosamente, enquanto as métricas USR mostraram alguma resistência a essas perturbações graças a suas escalas de avaliação mais simples, a confiabilidade geral dos LLMs sofreu um golpe nessas condições. Se os LLMs forem assumir o papel de avaliadores, eles precisam ser mais robustos contra esse tipo de desafio.

#Justificativas Importam

Os pesquisadores também analisaram as justificativas dadas pelos LLMs para suas notas. Eles realizaram uma análise de sentimentos para entender melhor o tom e a qualidade dessas explicações. A análise de sentimentos ajuda a atribuir uma pontuação ao tom emocional, que varia de negativo a positivo.

As descobertas mostraram que, quando enfrentados com perturbações, as justificativas do modelo tendiam a se tornar mais negativas. Isso indicou um desalinhamento em seu processo de raciocínio quando a entrada era confusa. Então, embora os LLMs possam oferecer boas avaliações em circunstâncias normais, eles podem ficar confusos facilmente quando as entradas não estão claras.

#Conclusão

No final, o Gemini 1 do Google mostrou que consegue oferecer avaliações consistentes em diferentes métodos, mas ainda está se ajustando quando enfrenta desafios como perturbações adversariais. Os experimentos deixaram claro que os LLMs têm um bom caminho pela frente antes de serem considerados confiáveis para avaliar a qualidade subjetiva em textos sem supervisão humana.

Embora este estudo não tenha olhado para outros modelos proeminentes, como Llama ou GPT, pesquisas futuras podem incluir esses para ver se lidam com tarefas de avaliação de forma diferente. Também vale a pena focar em modelos menores para ver como gerenciam as nuances das avaliações subjetivas.

Em resumo, enquanto os LLMs são ferramentas promissoras para checar a qualidade do texto, ainda há muito trabalho a fazer antes de eles conseguirem substituir totalmente os juízes humanos. Afinal, quando se trata de avaliar a escrita, pode ser que eles precisem de mais algumas aulas sobre como fazer tortas!

#Ética na Avaliação

Ao longo deste estudo, todas as diretrizes éticas foram seguidas rigorosamente. Os conjuntos de dados foram usados de forma responsável e todas as atividades de pesquisa foram conduzidas com respeito ao material fonte e à integridade do processo de avaliação.

#Considerações Finais

À medida que o campo da avaliação de texto continua a evoluir, os pesquisadores estão dedicados a aprimorar os métodos que utilizam LLMs. Investigações futuras podem explorar como esses modelos podem se adaptar e melhorar, tornando-os mais confiáveis para avaliar todos os tipos de escrita—sejam receitas de tortas ou diálogos complexos! E vamos ser honestos, quem não gostaria de ver um modelo que pode avaliar tortas? Falar sobre uma verdadeira fatia de insight!