Avaliação da IA na Resumação de Contos Curtos

Os avanços recentes em inteligência artificial levaram à criação de grandes modelos de linguagem (LLMs) que conseguem resumir textos. Este estudo foca em avaliar a habilidade desses modelos de resumir contos. Contos podem ser complexos, contendo múltiplas camadas de significado, emoções intricadas dos personagens e cronologias não-lineares. É essencial verificar o quão bem esses modelos capturam esses elementos.

#Trabalho com Autores

Pra garantir a justiça nos nossos testes, trabalhamos direto com autores. Os contos que usamos não tinham sido publicados em lugar nenhum online, o que significa que os modelos não os tinham encontrado antes. Essa abordagem nos permitiu obter um feedback real dos autores sobre a qualidade dos Resumos produzidos pelos modelos.

#Resumindo Narrativas

Resumir narrativas é uma tarefa desafiadora, já que as histórias muitas vezes não seguem a estrutura clássica de introdução, desenvolvimento e conclusão. Elas podem apresentar eventos fora de ordem, sugerir ideias de forma sutil, ou usar linguagem simbólica. Por exemplo, "Amada" da Toni Morrison contém uma linguagem metafórica rica que pode ser difícil de capturar em um resumo.

#Desafios de Resumir Contos

Os contos também podem ser mais longos do que a quantidade de texto que alguns modelos conseguem processar de uma vez. Essa limitação pode ser um desafio para modelos que precisam resumir narrativas inteiras. Trabalhos anteriores sobre resumir textos mais longos enfrentaram dificuldades devido à falta de histórias disponíveis que atendam a critérios específicos, principalmente porque muitos contos são antigos o suficiente pra estarem em domínio público ou têm restrições de direitos autorais.

#Metodologia

Na nossa avaliação, testamos três LLMs diferentes-GPT-4, Claude-2.1 e Llama-2-70B. Avaliamos o desempenho deles em 25 contos inéditos escritos por autores experientes. Os autores classificaram os resumos com base em quatro áreas principais: Cobertura dos pontos-chave da trama, Fidelidade à história original, coerência e Análise dos temas.

#Processo de Resumir

Os diferentes modelos tinham maneiras distintas de resumir as histórias, especialmente quando as histórias eram longas demais pros limites de entrada deles. O GPT-4 e o Claude conseguiam ler histórias inteiras de uma vez, enquanto o Llama tinha que dividir histórias mais longas em partes e resumi-las separadamente antes de juntar tudo.

#Critérios de Avaliação

Medimos quatro atributos principais de cada resumo:

• Cobertura: O resumo incluiu os pontos principais da trama?
• Fidelidade: O resumo refletiu a história com precisão, sem incluir detalhes errados?
• Coerência: O resumo foi fácil de ler e acompanhar?
• Análise: O resumo deu uma visão sobre os temas da história?

Os autores classificaram cada resumo usando uma escala de 1 a 4, e também comparamos essas classificações com o que os modelos previram.

#Resultados dos Resumos

No geral, os modelos produziram resumos decentes, mas ainda cometeram erros em várias áreas. Por exemplo, as notas de fidelidade foram particularmente baixas, sugerindo que os modelos tiveram dificuldade em interpretar certos aspectos. No melhor desempenho, alguns modelos forneceram boas insights temáticas, mas ainda falharam em muitas situações em refletir a história com precisão.

#Erros Comuns

Através da nossa análise, identificamos que muitos erros de fidelidade estavam ligados aos sentimentos e reações dos personagens, o que mostrou que os modelos têm dificuldade em entender emoções humanas. Além disso, alguns resumos omitiram detalhes chave ou distorceram as ações dos personagens, levando a confusões.

#Influência dos Estilos de Escrita

Também analisamos como diferentes estilos de escrita afetaram a qualidade dos resumos. Por exemplo, histórias com narradores não confiáveis foram um desafio maior para os modelos. Se a história tinha subtramas complexas ou uma linha do tempo simples impactou o quão bem os modelos conseguiam resumir o conteúdo.

#Conclusão

Em resumo, enquanto os grandes modelos de linguagem mostram potencial em resumir narrativas, eles ainda têm limitações significativas. Muitos resumos gerados não são consistentemente precisos ou perspicazes. Este estudo destaca a necessidade de envolvimento humano quando se trata de avaliar a compreensão narrativa. Colaborar com autores não só melhora a qualidade da avaliação, mas também enriquece o processo ao fornecer feedback valioso.

#Trabalho Futuro

Ainda há muito a explorar na área de resumir narrativas. Estudos futuros precisarão encontrar maneiras melhores de avaliar os modelos, possivelmente envolvendo histórias mais complexas e uma gama mais ampla de autores. As descobertas sugerem que, enquanto os modelos conseguem identificar alguns temas e ideias, muitos desafios continuam, especialmente com conteúdos emocionais sutis e motivações dos personagens.