Melhorando a Precisão da Narrativa com Monitoramento de Fatos

Detectar e corrigir erros em histórias geradas por modelos de linguagem é importante à medida que esses modelos ficam mais inteligentes. Mas fazer isso não é fácil. A gente propõe um jeito novo de acompanhar fatos simples e corrigir erros. Nosso método também considera como os fatos mudam com o tempo, o que é crucial para contar histórias.

Nosso método inclui quatro passos principais pra atualizar uma coleção de fatos sempre que um novo evento acontece: (1) dividir o evento em fatos simples; (2) descobrir quando cada fato é verdade; (3) verificar se algum fato contradiz o que já temos; e (4) adicionar novos fatos ou atualizar os que já existem.

Quando testamos nosso método pra detectar contradições em esboços de histórias, percebemos que ele se sai muito melhor do que um método básico. Ele até combina com o desempenho de modelos mais avançados quando os usamos. Além disso, quando usamos um modelo altamente capaz, nosso método se sai até melhor do que ele.

Nosso método resolve dois problemas principais: corrigir inconsistências e reduzir repetições de enredo. Pra detectar inconsistências, ele acompanha quando cada fato é válido pra diferenciar entre contradições reais e fatos que mudam com o tempo. Pra identificar enredos repetidos, nosso jeito pode mostrar a linha do tempo de forma mais clara, facilitando a identificação desses problemas.

Mesmo que modelos de linguagem poderosos consigam fazer várias tarefas melhor que humanos, criar textos longos ainda apresenta desafios. Mesmo com modelos que podem lidar com milhares de palavras, eles podem ter dificuldade em recuperar e raciocinar sobre contextos tão longos. Isso significa que, apesar de esses modelos estarem avançando, ainda tem muito trabalho a ser feito pra melhorar a geração de textos longos.

Esforços anteriores pra usar modelos de linguagem pra criar textos estruturados tentaram várias maneiras de manter a história coerente em peças extensas de escrita. Ainda assim, problemas permanecem na manutenção da precisão factual e na prevenção de erros no que a história diz. Esses problemas podem afetar seriamente a qualidade geral da história, especialmente nas etapas de planejamento, tornando vital ter um sistema que possa detectar e corrigir erros factuais.

Focamos em dois problemas principais que podem aparecer em narrativas: contradições factuais (onde os fatos entram em conflito) e Redundâncias (onde os enredos se repetem). Esses problemas são comuns porque textos de treinamento geralmente têm limites de tamanho e vêm de várias fontes fragmentadas, o que pode dificultar para o modelo conectar fatos que estão longe um do outro. Além disso, a transição de checar sentenças individuais para textos mais longos é complicada. Notamos duas diferenças principais ao comparar sentenças únicas com textos mais longos: a complexidade aumentada de lidar com múltiplos fatos juntos e o fato de que o conteúdo pode mudar com o tempo.

Pra encarar esses desafios, apresentamos a ideia de fatos atômicos direcionais, criando uma estrutura que pode detectar contradições enquanto mantém o controle dos estados ao longo do tempo. Analisamos eventos pra identificar fatos simples e procuramos contradições em torno de acontecimentos chave, utilizando modelos pra dividir eventos no que chamamos de "pré-fatos" (verdades antes de um evento) e "pós-fatos" (verdades que vêm depois de um evento).

Esses pré-fatos e pós-fatos ajudam a capturar a veracidade dos eventos durante todo o seu período válido. Isso ajuda a acompanhar mudanças ao longo do tempo provocadas por diferentes eventos, enquanto mantém um conjunto de fatos (o estado do mundo) que não se contradizem. Conectar fatos dessa maneira nos ajuda a encontrar contradições verificando e atualizando-os dentro do estado do mundo.

Exploramos também como esses fatos atômicos podem ser usados de maneira mais flexível dentro de uma estrutura que considera o tempo. Criando uma linha do tempo pra eventos e seus fatos relacionados, conseguimos identificar contradições ou atualizações necessárias quando seus tempos se sobrepõem.

Descrevemos como nosso sistema funciona. Inicialmente, mantemos uma lista de fatos pra gerenciar as informações. Pra atualizar nossa lista quando um novo evento ocorre, usamos nosso processo de quatro etapas: decompor eventos, determinar seus tempos válidos, checar contradições e, finalmente, atualizar nossa lista de fatos.

Pra medir como nosso método funciona, definimos uma tarefa focada em encontrar contradições em histórias em planejamento, usando esboços como nosso caso de teste. A gente usa pontuações de 1 a 5, baseado em se pares de fatos são realmente contraditórios. Os resultados mostram que nosso método identifica contradições reais significativamente melhor do que um método básico alternativo. Quando executado em um modelo líder, nosso desempenho supera todos os outros.

Em resumo, fizemos várias contribuições:

1. Criamos um jeito de decompor eventos em fatos simples e acompanhar seus tempos válidos em uma linha do tempo.
2. Com base nisso, desenvolvemos um método pra encontrar contradições factuais sensíveis ao tempo em esboços. Esse método também ajuda a melhorar a precisão factual durante a narrativa.
3. Aplicamos nosso método ao processo de criação de esboços de histórias, definindo uma tarefa e métricas pra avaliar contradições.

#Trabalho Relacionado

#Verificação de Fatos

Verificação de fatos é uma tarefa importante que tem sido amplamente estudada em processamento de linguagem natural. Isso envolve checar a verdade de afirmações, sejam elas declarações científicas ou notícias falsas. Ao contrário de simplesmente checar as afirmações contra um banco de dados, alguns trabalhos mostraram que a verificação pode ser feita dentro do contexto também. A gente também se baseia em esforços que quebram sentenças complexas em partes factuais simples.

Nosso enfoque é diferente pois foca no tempo, mantendo períodos válidos para fatos que mudam com o tempo.

#Rastreamento de Estado

Esforços anteriores em rastreamento de estado variaram de sistemas de diálogo a redes de memória e planejamento de histórias. Com o surgimento de grandes modelos de linguagem, o rastreamento passou a usar a linguagem natural explicitamente, variando de formatos não estruturados a estruturados. Alguns trabalhos previram tempos válidos para os fatos, combinando texto com timestamps. Nosso método se relaciona com esses esforços, mas foca em analisar textos produzidos por modelos de linguagem em vez de ajustar os próprios modelos.

#Geração Hierárquica

Geração hierárquica se aplica a muitos tipos de criação de conteúdo longo, como contar histórias. Pode ser feita através de estados de modelo ou formatos estruturados explícitos. Esse método traz vantagens e desafios. Enquanto ajuda a encontrar contradições em um nível mais alto, também pode exigir estruturas de informação mais complexas pra manter a validade factual.

#Fatos Atômicos Sensíveis ao Tempo

Trabalhos existentes geralmente buscam aproveitar as capacidades dos modelos de linguagem para checagem de fatos detalhada. Esta seção propõe um método que foca em eventos, construindo em torno de uma abordagem sensível ao tempo pra quebrar fatos simples. Analisando eventos e estados do mundo, desenvolvemos um método pra decompor eventos em fatos atômicos direcionais.

Cada evento pode ser separado em múltiplos eventos menores com base na preferência de detalhes do autor. Essa abordagem hierárquica cria um segmento de tempo contínuo ao longo da linha do tempo da história.

Por exemplo, definimos o segmento de tempo de um esboço completo como contínuo. Quando um evento faz parte de outro, seu tempo deve estar dentro do intervalo de tempo do outro evento, garantindo que as linhas do tempo de sub-eventos não se sobreponham.

#Intervalo de Validade dos Fatos

Ao considerar um evento, assumimos que cada fato dentro dele é verdadeiro por um certo período de tempo. O início e o fim desse tempo são definidos junto com condições específicas para quando esses fatos são válidos. Isso cria uma compreensão mais clara de quando cada fato é reconhecido como verdadeiro.

#Condição de Atualização

Pra gerenciar mudanças, introduzimos regras que permitem atualizações quando os fatos se contradizem. O fato mais recente é visto como mais confiável durante o tempo sobreposto. Por exemplo, se dois fatos dizem coisas diferentes sobre a localização de um personagem em um certo momento, o mais recente substituirá o mais antigo pra manter a veracidade.

#Condição de Contradição

Uma contradição é marcada quando fatos se sobrepõem no tempo e afirmam verdades opostas. Se um fato é sobre um evento mais cedo na linha do tempo e o outro é mais tarde, qualquer sobreposição significa uma contradição entre os dois.

Nosso método geral mostra como gerenciamos nossa estrutura de dados. Quando um novo evento surge, o decompomos em vários fatos, determinamos seus tempos válidos, checamos por contradições e então atualizamos nossos fatos.

#Manutenção do Estado do Mundo

Mantemos duas listas pra monitorar todos os pré-fatos e pós-fatos, onde registramos o conteúdo de cada fato e o tempo que é válido.

#Pipeline de Operação

Nosso pipeline de operação consiste em uma sequência simples de passos:

1. Decompor Eventos: Decompor o novo evento em suas partes.
2. Determinar Intervalo de Validade: Pra cada fato, descobrir quanto tempo é válido.
3. Detectar Contradições: Verificar se contradiz algum fato existente.
4. Atualizar o Estado do Mundo: Atualizar fatos e adicionar novos conforme necessário.

#Decompor Eventos

Dividimos o evento em fatos principais e secundários. Usando prompts de modelos de linguagem, estruturamos a saída accordingly.

#Determinar Intervalo de Validade

Com cada novo fato, verificamos os fatos existentes pra estabelecer quanto tempo ele é válido. Se encontrarmos um fato contraditório, definimos o limite correto como o ponto onde eles entram em conflito.

#Detectar Contradições

Essa parte recupera todos os fatos que se sobrepõem com o fato atual e procura por contradições. Focamos em sobreposições estritas onde ambos os fatos começam.

#Atualizar o Estado do Mundo

Se não encontramos contradições, atualizamos o estado do mundo de acordo, ajustando os tempos válidos dos fatos existentes e adicionando o novo fato.

#Reconhecimento de Contradição

Usamos um modelo ajustado pra identificar se pares de fatos se contradizem em uma escala de 0 a 1. Se a pontuação estiver acima de um certo limite, classificamos como contraditórios. Diferentes limites são definidos pra detectar contradições e pra atualizações pra minimizar erros perdidos.

#Resultados da Avaliação

Pra testar a eficácia do nosso método, visamos detectar contradições em esboços de histórias. Criamos esboços estruturados com múltiplos eventos pra ver como nosso método se sairia.

#Métricas

Pontuamos a força da contradição em uma escala de 1 a 5, avaliando quão bem os métodos conseguem detectar contradições reais. Os resultados do nosso método são comparados a alternativas básicas.

#Configuração do Experimento

Nos nossos experimentos, geramos esboços de histórias e os avaliamos usando nosso método. Definimos estruturas específicas, como profundidade e ramificações, pra garantir complexidade enquanto permanecemos gerenciáveis pra revisão.

#Linhas de Base

Em comparação, criamos dois métodos alternativos pra avaliar nossa abordagem. Um utiliza menos insights, enquanto o outro analisa o esboço completo pra fazer previsões.

#Resultados da Avaliação

Os resultados mostram que nosso método se destaca na detecção de contradições em comparação com suas alternativas. O método também demonstra um nível de desempenho alto quando testado usando modelos líderes.

#Análise de Erros

Apesar de se sair significativamente melhor do que métodos alternativos, nossa abordagem ainda tem espaço pra melhorias.

#Falhas Potenciais

Algumas áreas incluem:

• A decomposição de eventos pode não ser detalhada o suficiente.
• Erros podem ocorrer ao identificar contradições.
• Pode haver falhas na atualização de fatos na linha do tempo corretamente.

#Conclusão e Trabalho Futuro

A complexidade na geração de histórias através de modelos de linguagem destaca a necessidade de um melhor acompanhamento das informações que mudam ao longo do tempo. Nosso método decompõe eventos em fatos mais simples e os organiza em uma linha do tempo, facilitando o acompanhamento de narrativas e a identificação de contradições de forma eficaz.

Esforços futuros podem focar em melhorar a precisão das decomposições de fatos e organizar os fatos de maneira mais eficiente. Embora tenhamos testado nosso método em esboços de histórias, acreditamos que ele pode ser adaptado para outras áreas, como checagem de fatos em tempo real e atualizações de conhecimento.

#Declaração de Ética

Nosso método leva em consideração os potenciais preconceitos herdados de modelos de linguagem existentes. No entanto, o foco no rastreamento de fatos e na identificação de inconsistências durante a criação de histórias pode limitar o uso indevido desses modelos.

#Declaração de Reproduzibilidade

Mantivemos todos os dados e resultados dos nossos experimentos, tornando nosso trabalho reproduzível. Todo o código e dados serão compartilhados publicamente pra permitir uma exploração e validação adicionais da nossa abordagem.