Analisando Erros na Geração de Texto a partir de RDF

Na geração de linguagem natural, às vezes informações importantes ficam de fora da saída gerada. Este artigo discute por que esses erros acontecem, focando especificamente na transformação de dados RDF (Resource Description Framework) em texto.

#Problema com Modelos Atuais

Dois problemas comuns nesses modelos são Omissões e distorções. Omissões acontecem quando detalhes importantes da entrada não são incluídos na saída. Distorções ocorrem quando detalhes na saída estão errados, como erros de ortografia ou números errados. Apesar de muitos métodos terem sido sugeridos para lidar com essas questões, não se trabalhou muito para entender as causas raízes desses erros.

Nossa pesquisa foca em omissões na geração de texto a partir de gráficos de conhecimento, que é sobre criar texto baseado em dados de gráficos de conhecimento. Estudamos gráficos RDF compostos por triplas, que são conjuntos de sujeito, propriedade e objeto. Investigamos as entidades que estão faltando nos textos gerados a partir dessas entradas RDF, onde os dados e saídas estão em inglês.

#Exemplos e Definições

Para ilustrar esses problemas, considere um gráfico de entrada que contém informações sobre uma pessoa chamada Nurhan Atasoy. Se o texto de saída diz que "Guran Ataturk ganhou um prêmio estatal" mas não menciona "Nurhan Atasoy," então "Nurhan Atasoy" é um exemplo de uma entidade omitida. Se o nome "Guran Ataturk" é uma escrita errada de "Mustafa Kemal Atatürk," então isso é uma Distorção.

#Objetivos da Pesquisa

O principal objetivo da nossa pesquisa é entender de onde vêm essas omissões e distorções e se conseguimos antecipá-las com base nas representações internas do Codificador. Acreditamos que a codificação de gráficos que leva a omissões deve ser diferente daquelas que não levam.

#Métodos de Análise

Para analisar como esses erros ocorrem, desenvolvemos duas técnicas de sondagem:

1. Sondagem Sem Parâmetros: Este método não requer aprendizado de novos parâmetros. Ele calcula a semelhança entre as representações dos gráficos RDF e aquelas com algumas entidades removidas.

2. Sonda Paramétrica: Este método usa um classificador para determinar se uma entidade foi omitida ou distorcida.

Também ampliamos nossa análise para olhar entidades que foram mencionadas incorretamente. Tanto entidades omitidas quanto distorcidas podem ser detectadas nas saídas do codificador. Isso significa que o codificador fornece um sinal menos claro para essas entidades e é responsável por algumas das informações faltando.

#Contribuições da Pesquisa

Nossa pesquisa levou à criação de dois Conjuntos de dados com exemplos anotados de omissões e distorções. Um conjunto de dados consiste em 72.000 instâncias detectadas automaticamente, e outro consiste em 12.000 instâncias revisadas manualmente. Esses conjuntos de dados estão disponíveis publicamente junto com os modelos e scripts necessários para replicar nossas descobertas.

Através de testes, descobrimos que a maioria dos casos de omissões e distorções podem ser detectados através de nossos métodos de sondagem. Também analisamos se a probabilidade de uma entidade ser omitida ou distorcida poderia ser prevista com base em suas características.

#Modelos de Geração Usados

Na nossa pesquisa, usamos modelos populares conhecidos como BART e T5 para gerar texto. Treinamos esses modelos no conjunto de dados WebNLG, uma grande coleção de gráficos RDF emparelhados com texto.

#Processo de Anotação

Para medir como nossos métodos funcionaram, anotamos os textos gerados em busca de omissões e distorções. Para automação, também usamos algoritmos para identificar esses erros. As anotações manuais foram feitas por estudantes treinados fluentes em inglês.

#Comparando Estratégias de Decodificação

Para entender como as estratégias de decodificação afetam as omissões, experimentamos diferentes abordagens como decodificação gananciosa e busca em feixe. Embora algumas diferenças tenham sido observadas, as omissões foram relativamente consistentes entre os métodos.

#Explorando Representações do Codificador

Hipotetizamos que as representações do codificador para gráficos que levam a omissões seriam diferentes daquelas que não levam. Focamos no codificador, já que encontramos que as estratégias de decodificação tiveram impacto limitado nas omissões.

#Resultados dos Métodos de Sondagem

Nossa primeira abordagem de sondagem mostrou que as representações do codificador de gráficos relacionados a omissões tinham menos informação sobre as entidades que foram deixadas de fora. Essa descoberta foi significativa em vários subconjuntos de dados.

Na segunda sonda, treinamos um classificador que poderia distinguir entre entidades mencionadas e omitidas. Este método também teve um bom desempenho e mostrou que entidades omitidas e distorcidas poderiam ser identificadas com base nas representações.

#Testando em Exemplos Difíceis

Também consideramos exemplos onde uma entidade poderia ser mencionada, omitida ou distorcida. Nossa sonda foi capaz de classificar esses casos de maneira eficaz, indicando que podia lidar com cenários mais complexos.

#Correlação Entre Modelos

Para ver o quão bem nossas anotações automáticas se alinharam com as anotações manuais, medimos as correlações entre as previsões. Descobrimos que, enquanto as omissões se correlacionavam bem, as distorções não.

#Análise de Regressão Logística

Para analisar mais a fundo nossos resultados, treinamos um modelo de regressão logística para prever se uma entidade seria omitida ou distorcida com base em suas características. O desempenho do modelo indicou que, enquanto as omissões eram difíceis de prever, as distorções eram mais fáceis de identificar.

#Generalização para Outros Modelos

Para testar a versatilidade de nossos métodos, aplicamos eles ao modelo T5. Os resultados foram semelhantes aos obtidos com o modelo BART, sugerindo que nossas técnicas podem generalizar bem entre diferentes modelos.

#Direções Futuras

Embora esta pesquisa tenha se concentrado em gerar texto em inglês a partir de dados RDF, estudos futuros podem se expandir para outros idiomas e tarefas. Há também potencial para explorar os efeitos de diferentes partes dos modelos, como várias camadas em codificadores e decodificadores.

#Conclusão

Estabelecemos que omissões e distorções em modelos de RDF para texto podem ser rastreadas até problemas com a forma como as entidades de entrada são codificadas. Ao desenvolver dois métodos de sondagem, fornecemos evidências de que o codificador desempenha um papel significativo nesses erros.

Com mais refinamento e pesquisa, esperamos aprofundar a compreensão dessas questões e melhorar a confiabilidade dos modelos de geração de linguagem natural. Este trabalho contribui com insights valiosos sobre o funcionamento dos modelos de RDF para texto e abre portas para futuras explorações nessa área.