Avaliando Histórias com Modelos de Linguagem

Contar histórias é uma parte fundamental de ser humano. Ajuda a gente a se entender e conectar com os outros. Com a tecnologia moderna, especialmente com o surgimento de Modelos de Linguagem Grandes (LLMs), agora podemos explorar maneiras de avaliar e criar histórias automaticamente.

A Avaliação Automática de Histórias (ASE) e a Geração Automática de Histórias (ASG) são duas áreas onde os LLMs estão sendo explorados. Eles podem ajudar a melhorar a narrativa, tornando-a mais eficiente e acessível. Mas essas tarefas são complexas e exigem habilidades que envolvem criatividade e raciocínio, que tradicionalmente são vistas como características humanas.

#O Que São Modelos de Linguagem Grandes?

Modelos de linguagem grandes, como o GPT-3 e outros, mostraram grande habilidade em lidar com tarefas de linguagem natural. Eles conseguem escrever, responder perguntas e resumir textos de forma eficaz. Recentemente, esses modelos têm sido usados para criar histórias que parecem quase humanas. À medida que esses modelos continuam a melhorar, eles podem ajudar a aprimorar nossos processos criativos.

Mesmo assim, assim como os humanos às vezes falham em avaliar histórias bem, os LLMs também têm seus desafios. Este trabalho investiga se os LLMs podem substituir efetivamente os avaliadores humanos em tarefas de avaliação de histórias.

#Investigando Modelos de Linguagem para Avaliação de Histórias

Para ver quão bem os LLMs podem avaliar histórias, analisamos como eles classificam histórias em comparação com avaliações humanas. Conduzimos estudos para entender como diferentes sugestões afetam suas classificações e explicações.

#Nossos Experimentos

Fizemos uma série de testes onde pedimos a vários LLMs para avaliar histórias com base em critérios como empatia, surpresa e engajamento. Também examinamos como as sugestões que demos afetaram suas classificações.

Descobrimos que, embora os LLMs tenham se saído melhor do que muitas ferramentas de avaliação automática existentes, explicar suas classificações foi um desafio. As explicações oferecidas pelos LLMs frequentemente eram confusas e careciam de suporte das histórias que avaliaram.

#O Processo de Geração Automática de Histórias

ASG envolve criar uma história a partir de um breve prompt. Isso não se trata apenas de gerar texto; é sobre elaborar uma narrativa que capture o interesse. Estudos anteriores mostraram que contar histórias permite que um narrador envolva o público de maneira significativa.

Sistemas de ASG fortes poderiam ser benéficos em muitos campos, incluindo educação, jogos e marketing. Com os avanços nos LLMs, esses sistemas agora podem produzir histórias convincentes que às vezes são difíceis de distinguir das escritas por humanos.

#A Necessidade de Métodos de Avaliação de Histórias Confiáveis

À medida que os LLMs se tornam mais comuns, a demanda por métodos eficazes de avaliação de histórias aumenta. As avaliações humanas costumam ser lentas e caras, tornando os sistemas de avaliação automática atraentes. No entanto, as medidas automáticas existentes frequentemente não correlacionam bem com as classificações humanas.

Nossa exploração visa abordar essa lacuna analisando se os LLMs podem servir como substitutos credíveis para anotadores humanos na avaliação de histórias.

#Nossas Descobertas Sobre as Classificações dos LLMs

Conduzimos vários experimentos onde os LLMs avaliaram histórias e explicaram suas classificações. Descobrimos algumas descobertas importantes:

#Comparando LLMs com Medidas Existentes

Constatamos que os LLMs podiam produzir classificações confiáveis para avaliação de histórias, performando melhor do que muitas das medidas automáticas padrão atualmente em uso. No entanto, as correlações gerais entre as classificações dos LLMs e as avaliações humanas variaram, indicando espaço para melhorias.

#Engenharia de Prompt

A forma como pedimos aos LLMs pode influenciar significativamente seu desempenho. Testamos diferentes tipos de prompts, como classificações simples, classificações com explicações e prompts que forneceram diretrizes. Os resultados mostraram que prompts mais detalhados nem sempre levaram a avaliações melhores e poderiam, às vezes, confundir os LLMs.

#Explicabilidade das Respostas dos LLMs

Embora os LLMs conseguissem avaliar histórias, muitos lutaram para explicar seu raciocínio por trás dessas avaliações. As explicações eram frequentemente vagas ou não faziam referência eficaz às histórias. Isso indica uma lacuna em como os LLMs processam informações e comunicam suas avaliações.

#Desempenho na Geração de Histórias

Ao avaliar o desempenho dos LLMs em ASG, descobrimos que os LLMs produziram histórias que receberam classificações favoráveis, comparáveis às dadas a narrativas geradas por humanos. Isso sugere que os LLMs estão melhorando em sua capacidade de criar histórias envolventes.

#Entendendo a Avaliação Humana de Histórias

Avaliar histórias é inerentemente desafiador. Existem vários critérios que podem entrar em jogo, como relevância, coerência e complexidade. Embora a avaliação humana seja frequentemente vista como o padrão ouro, ainda é um processo lento e caro.

#O Papel da Avaliação Automática

Ferramentas de avaliação automática foram desenvolvidas para ajudar na avaliação de histórias. No entanto, essas ferramentas frequentemente mostraram correlacionar-se mal com os julgamentos humanos. Isso destaca a necessidade de melhores métodos que possam gerar resultados mais confiáveis, especialmente à medida que exploramos o potencial dos LLMs.

#A Necessidade de Critérios Claros

Os critérios para avaliar histórias podem variar bastante, levando a inconsistências nas avaliações. Identificamos seis critérios principais que podem ser usados na ASE: relevância, coerência, empatia, surpresa, engajamento e complexidade. Usando esses critérios, podemos entender melhor como os LLMs avaliam histórias e como eles se comparam às avaliações humanas.

#Avaliando LLMs em Relação às Avaliações Humanas

Analisamos o desempenho dos LLMs em comparação com as avaliações humanas, examinando as correlações entre elas. De modo geral, descobrimos que os LLMs poderiam ser uma alternativa forte para avaliar histórias, especialmente em termos de consistência.

#Explorando a Consistência da Avaliação

Avaliar quão consistentes eram as classificações dos LLMs revelou que eles geralmente apresentavam resultados estáveis. No entanto, ao comparar os LLMs com as classificações humanas, notamos que os julgamentos humanos frequentemente mostravam mais variabilidade do que os LLMs.

#Análise em Nível de Sistema

Em nível de sistema, observamos que os LLMs se saíram bem em comparação com medidas automáticas anteriores. Alguns LLMs conseguiram altas correlações com as avaliações humanas, enquanto outros não tiveram um desempenho tão bom. Isso indica que nem todos os LLMs são igualmente eficazes para avaliação de histórias.

#Influência do Nosso Prompt no Desempenho dos LLMs

Examinamos também como diferentes prompts impactaram as classificações dos LLMs. Nossas descobertas mostraram que usar prompts mais detalhados frequentemente diminuiu a consistência, enquanto prompts simples levaram a um desempenho melhor no geral.

#Coeficientes Intraclasse

Usamos medidas estatísticas para avaliar a confiabilidade das classificações fornecidas pelos LLMs. Nossa análise indicou que os LLMs se saíram bem em manter a consistência, embora a correlação com os julgamentos humanos tenha variado.

#Importância dos Estudos com Usuários

Para obter insights mais profundos, realizamos estudos com usuários para avaliar as explicações fornecidas pelos LLMs. Esses estudos revelaram que, embora a sintaxe fosse frequentemente precisa, a coerência e a relevância das explicações frequentemente deixavam a desejar.

#Problemas Comuns com as Explicações dos LLMs

Os LLMs tiveram dificuldades em produzir explicações que estivessem alinhadas com suas classificações. Muitas explicações careciam de referências claras às histórias, dificultando a compreensão do raciocínio por trás das classificações.

#Desempenho dos LLMs em Tarefas de Geração de Histórias

Ao avaliar o desempenho dos LLMs na geração de histórias, descobrimos que eles conseguiram produzir narrativas que receberam classificações positivas. Na verdade, as histórias geradas pelos LLMs foram frequentemente avaliadas de maneira semelhante ao conteúdo criado por humanos.

#Comparação de Diferentes Modelos

Analisamos vários LLMs e notamos que modelos maiores tendiam a se sair melhor em tarefas de geração de histórias. Os modelos que entregaram os melhores resultados exibiram uma tendência a criar histórias que se alinhavam de perto com seus dados de treinamento.

#Explorando o Papel dos Dados de Pré-treinamento

Examinamos também como os dados de treinamento dos LLMs influenciaram seu desempenho em ASG. Nossas descobertas sugeriram que modelos maiores produziam narrativas mais semelhantes a histórias existentes, o que pode explicar suas classificações mais altas.

#Contaminação e Reprodução

Realizamos testes para determinar se os modelos foram diretamente influenciados pelos dados de treinamento. Nossos resultados indicaram que as taxas de contaminação do conjunto de treinamento eram baixas, sugerindo que as saídas dos LLMs não estavam apenas reproduzindo exemplos de treinamento.

#Conclusão

No geral, nosso trabalho sugere que, embora os LLMs apresentem potencial para avaliação automática de histórias e geração, eles ainda enfrentam desafios. Eles podem servir como ferramentas valiosas, especialmente ao comparar diferentes modelos de histórias, mas sua capacidade de fornecer explicações claras continua sendo uma área significativa para desenvolvimento futuro.

#Implicações Práticas

À medida que os LLMs se tornam mais integrados aos processos criativos, entender seus pontos fortes e limitações será crucial. Eles podem aumentar a eficiência da narrativa, mas confiar em suas avaliações requer consideração cuidadosa.

#Direções Futuras

Mais pesquisas são necessárias para melhorar a capacidade dos LLMs de explicar suas avaliações de forma clara. Ajustar os modelos em tarefas específicas também pode ajudar a aprimorar seu desempenho. À medida que a tecnologia evolui, as maneiras como avaliamos e criamos histórias provavelmente avançarão, abrindo novas avenidas para exploração no campo do processamento de linguagem natural.