Entendendo Afirmativas Não Suportadas através da Previsão Narrativa

No nosso dia a dia, a gente costuma se deparar com várias afirmações que não têm suporte e são difíceis de confirmar. Essas afirmações podem influenciar nossas opiniões e visões sobre diversos assuntos. Mas, classificar e entender essas afirmações pode ser complicado, especialmente quando as discussões são longas e bagunçadas. Esse artigo foca em como a gente pode entender melhor e classificar essas afirmações sem suporte por meio de uma nova abordagem chamada Previsão Narrativa.

#A Importância da Previsão Narrativa

Saber identificar Narrativas nas discussões públicas, principalmente na internet, é super importante. Essa habilidade ajuda a avaliar a validade de diferentes afirmações. As plataformas online viraram verdadeiros centros de debates sobre vários temas, mas muitas vezes falta clareza nos Argumentos. Ao identificar as narrativas específicas dentro dessas discussões, os checadores de fatos podem avaliar de forma mais eficaz a precisão das afirmações e argumentos.

#Definindo Narrativas, Afirmações e Argumentos

Pra entender melhor, vamos primeiro definir o que a gente quer dizer com narrativas, afirmações e argumentos:

• Narrativa: É uma declaração clara sobre um assunto específico, refletindo o ponto de vista de alguém. Pode ou não ter suporte de Evidências.
• Afirmação: É basicamente uma declaração ou proposição que não tem evidência que a sustente.
• Argumento: É uma afirmação que é apoiada por evidências e raciocínio. O objetivo é justificar um certo ponto de vista.

Por exemplo, a frase "Clonar humanos é antiético" é uma afirmação, enquanto um argumento incluiria evidências que apoiam essa afirmação, como preocupações éticas relacionadas à clonagem.

#O Desafio das Afirmações sem Suporte

Muitas afirmações não têm evidências suficientes pra serem consideradas argumentos, o que dificulta a verificação dos fatos. Precisamos identificar as afirmações sem suporte pra entender melhor o discurso público. Essa tarefa, que chamamos de Previsão Narrativa, tem como objetivo classificar essas afirmações em um conjunto de narrativas reconhecíveis.

#Coleta de Dados para Análise

Pra apoiar nossa pesquisa, coletamos um grande conjunto de dados com mais de 120.000 argumentos, afirmações e comentários de várias fontes online. Esses exemplos são categorizados em tópicos controversos e são anotados com rótulos narrativos pra facilitar a análise.

#O Papel dos Grandes Modelos de Linguagem

A gente explorou como os grandes modelos de linguagem (LLMs) podem ajudar a sintetizar afirmações. Usando um método chamado Aprendizado em Contexto, descobrimos que afirmações geradas com evidências de suporte ajudam a melhorar o desempenho dos modelos de classificação de narrativas. Essa descoberta sugere que os LLMs podem inferir posturas e aspectos com base em um número limitado de exemplos de treinamento.

#Metodologia por Trás da Identificação de Narrativas

Na nossa metodologia, a gente diferencia narrativas de afirmações e argumentos considerando atributos adicionais como tópicos, posturas, aspectos e evidências. Por exemplo, o tópico da clonagem pode envolver narrativas sobre implicações éticas ou avanços científicos.

#Importância da Evidência

A evidência é fundamental pra avaliar a credibilidade de uma afirmação. Quando uma afirmação é apoiada por evidências, ela se transforma em um argumento mais forte. Por outro lado, uma declaração sem evidência continua sendo apenas uma afirmação.

#Introduzindo a Hipótese do Papagaio

A Hipótese do Papagaio sugere que em qualquer debate nas redes sociais, um número limitado de narrativas distintas emerge das contribuições dos usuários. As pessoas costumam expressar suas opiniões de formas variadas e enfeitadas, mas essas expressões podem ser reduzidas a um conjunto finito de narrativas reconhecíveis. Essa abordagem ajuda a simplificar a avaliação de discussões complexas numa tarefa de classificação.

#O Processo de Previsão Narrativa

O objetivo da Previsão Narrativa é analisar tweets, identificar suas narrativas e classificá-las de acordo. Cada tweet pode implicar múltiplas narrativas, mas a gente busca atribuir apenas uma narrativa clara pra manter a clareza.

#Coleta de Dados e Anotação

Pra anotar nosso conjunto de dados de forma eficaz, usamos a Amazon Mechanical Turk. O primeiro passo foi um pré-teste pra garantir que os anotadores entendessem as diferenças entre afirmações e argumentos. Depois do pré-teste, os anotadores classificaram os tweets com base nas narrativas que eles seguiam.

#Características do Conjunto de Dados

Criamos dois conjuntos de dados: Twitter-Narratives-9 (TN9) e uma versão aumentada do UKP-Corpus. Esses conjuntos de dados permitem o treinamento e a avaliação de técnicas de previsão de narrativas.

#Técnicas para Previsão Aprimorada

Propondo uma estrutura chamada Prompt, Condition, and Generate (PCG). Essa estrutura usa LLMs pra melhorar a previsão narrativa gerando exemplos sintéticos com base nas posturas e aspectos identificados.

#Avaliação da Previsão Narrativa

Pra avaliar nosso modelo de previsão narrativa, comparamos seu desempenho contra referências existentes. Usamos várias métricas, incluindo scores Rouge-L F1, pra quantificar a qualidade das narrativas previstas.

#Resultados e Discussão

Nossos resultados indicam que usar tweets sintéticos gerados por LLMs melhora significativamente o desempenho da previsão narrativa. O estudo também destaca os desafios enfrentados na previsão de posturas e aspectos, especialmente em tópicos polarizados.

#Direções Futuras

Pra frente, esperamos aprimorar nossos métodos e explorar técnicas em conjunto para previsão narrativa. Nossa abordagem pode se adaptar pra incluir múltiplos tópicos e narrativas, permitindo uma análise mais abrangente.

#Conclusão

Ao desenvolver uma definição clara de narrativas e utilizar técnicas avançadas para classificação, a gente pode analisar melhor o discurso público. O trabalho em torno da Previsão Narrativa é um passo pra melhorar nossa capacidade de entender e avaliar afirmações sem suporte no cenário em rápida mudança das discussões online.