Um Novo Conjunto de Dados para Geração de Conhecimento Conversacional

Em Conversas, as pessoas costumam fazer Perguntas pra aprender ou saber mais sobre diferentes assuntos. Isso é bem importante tanto em ambientes educacionais quanto em entretenimento, como em aulas particulares ou quizzes. Com a ajuda de grandes bases de dados de conhecimento como o Wikidata, muitos pesquisadores têm se interessado em criar sistemas que suportem esses diálogos informativos, baseando-se em fatos reais. No entanto, a maioria dos trabalhos focou em responder perguntas em vez de gerá-las, ou só oferece conjuntos pequenos de dados que não têm variedade.

Neste estudo, apresentamos um novo conjunto de dados que inclui uma ampla gama de conversas focadas em conhecimento factual. Cada par de pergunta e resposta nessas conversas é baseado em fatos específicos do Wikidata. Desenvolvemos esse conjunto de dados para cobrir vários temas e criamos um conjunto diverso de tipos de perguntas para cada fato.

#O Conjunto de Dados

#Visão Geral

O conjunto de dados é composto por mais de 71.000 conversas. Cada conversa contém, em média, cerca de 8,6 perguntas. Para cada fato do Wikidata, oferecemos várias maneiras de fazer perguntas, com uma média de cerca de 12 formas de perguntas diferentes. Essa diversidade foi alcançada usando templates, anotações humanas e um modelo de reescrita de perguntas.

Categorizamos as conversas em oito temas: Países, Comida, Pessoas, Religião/Ideologia, Objetos Espaciais, Taxon (grupos de organismos vivos), Entidades Moleculares e Eventos Históricos. Além disso, incluímos conversas que contêm fatos não abordados por esses temas para testar a capacidade do modelo de generalizar.

#Detalhamento das Conversas

Para cada conversa, projetamos uma estrutura onde cada pergunta é baseada em um fato representado como um triplo sujeito-propriedade-objeto. Por exemplo, se pegarmos o fato "Shep Pettibone gênero dance-pop," a pergunta seria "Qual gênero musical Shep Pettibone é conhecido?" A resposta seria "Dance-pop."

Cada conversa começa com uma pergunta sobre o tópico principal e depois vai se desenvolvendo, trocando perguntas e respostas que revelam mais conhecimento. Isso significa que cada conversa age como um pequeno grafo de conhecimento onde cada pergunta expande os tópicos discutidos antes.

#Variantes de Perguntas

Pra aumentar a variedade das perguntas, criamos três tipos de versões baseadas na pergunta original.

1. Fora de Contexto (OOC): Essas perguntas são feitas independentemente do contexto da conversa.
2. No Contexto (IC): Essas perguntas são modificadas pra se encaixar no contexto do diálogo usando pronomes ou outras pistas contextuais.
3. Sintéticas no Contexto (SIC): Essas perguntas são geradas por um modelo treinado pra reescrever perguntas IC, buscando um fluxo conversacional mais natural.

Essa estrutura nos permite analisar como diferentes formas de perguntas se saem em vários contextos.

#Criando o Conjunto de Dados

#Coleta de Dados

A criação desse conjunto de dados envolveu extrair informações factuais do Wikidata. Focamos em triplos onde o sujeito tem um rótulo em inglês, e o objeto é outra entidade rotulada ou um valor literal, como uma data ou um número. Nos certificamos de evitar propriedades desinteressantes que não oferecem informações valiosas.

Com essas informações, montamos um subgrafo em torno de várias entidades raízes, o que nos permitiu criar conversas que permanecem focadas em conhecimentos relacionados. Para cada entidade raiz, compilamos três caminhos de conversa diferentes pra garantir variedade e profundidade no nosso conjunto de dados.

#Criação de Templates

Pra gerar perguntas diversas, usamos templates de diferentes fontes:

1. Templates Zero-Shot: Coletamos templates que podem ser usados para várias propriedades, garantindo que sejam relevantes e ainda aplicáveis ao nosso contexto.
2. Templates de Perguntas Simples v2: Esses templates foram retirados de um conjunto de dados existente que inclui vários pares de pergunta-resposta, adaptados para nossas necessidades no contexto do Wikidata.
3. Novos Templates: Criamos templates adicionais personalizados através de um processo rigoroso que envolveu definir condições de aplicabilidade, escrever templates e validá-los. Essa etapa garantiu que nossos templates pudessem cobrir uma ampla gama de fatos.

#Pós-processamento

Pra melhorar a naturalidade das conversas, refinamos as perguntas usando técnicas pra introduzir variabilidade em como os entidades foram referidas e ajustando a tensão quando necessário. Por exemplo, garantimos usar o rótulo preferido para um sujeito na sua primeira menção enquanto variamos as referências em menções subsequentes.

Além disso, incorporamos um modelo para reescrever perguntas, melhorando ainda mais seu tom conversacional e coerência.

#Avaliação

#Avaliação Automática

Usamos várias métricas pra avaliar o conjunto de dados e suas perguntas geradas. Pra isso, dividimos os dados em subconjuntos de treino, desenvolvimento e teste. Em seguida, treinamos modelos nesses splits pra ver como eles se saíam em gerar perguntas com base no contexto fornecido.

A avaliação mostrou que modelos treinados com contexto conversacional se saíram melhor em comparação aos que não usaram nenhum contexto. Além disso, foi notado que o uso de contexto textual e os triplos de conhecimento subjacentes melhoraram significativamente a qualidade das perguntas geradas.

#Avaliação Humana

Também realizamos avaliações humanas pra ter uma noção da qualidade das perguntas e do fluxo geral da conversa. Avaliadores classificaram as perguntas em critérios como correção, clareza e naturalidade. Essa avaliação destacou algumas diferenças entre perguntas geradas pelos métodos IC e SIC, com IC geralmente recebendo uma pontuação mais alta em clareza e naturalidade.

Apesar da qualidade geral, também notamos que as conversas às vezes pareciam pouco naturais, especialmente ao lidar com tópicos complexos. Isso é algo a se considerar pra melhorias futuras.

#Conclusão

Resumindo, criamos um grande conjunto de dados de pares de perguntas-respostas conversacionais baseados em conhecimento factual do Wikidata. Esse conjunto inclui várias formas de perguntas, que podem ser úteis pra múltiplas tarefas em processamento de linguagem natural. Nosso trabalho contribui para a área ao fornecer um recurso rico pra entender como perguntas podem ser efetivamente geradas e como contextos conversacionais podem melhorar esse processo.

Trabalhos futuros podem focar em aprimorar ainda mais a qualidade e a variedade do conjunto de dados, especialmente para temas não vistos e tópicos complexos. Continuando a refinar o modelo e o conjunto de dados, podemos criar interações mais confiáveis e naturais em diálogos informativos.