Automatizando a Conversão de Linguagem Natural para Linguagem de Consulta de Corpus

Processamento de Linguagem Natural (PLN) mudou a forma como usamos sistemas de informação. Um foco importante dessa tecnologia é transformar perguntas em linguagem natural em linguagens de consulta formais como SQL, que é super usada em bancos de dados. Mas, pouca atenção tem sido dada à Linguagem de Consulta de Corpus (CQL), que é fundamental para análises detalhadas em pesquisas linguísticas. Criar consultas CQL manualmente é complicado e toma muito tempo. Além disso, exige bastante conhecimento, tornando difícil para pesquisadores e profissionais.

Este trabalho apresenta a primeira tarefa de converter linguagem natural em CQL, buscando automatizar esse processo. Fornecemos um sistema detalhado para essa tarefa, que inclui um grande conjunto de dados e métodos que utilizam modelos de linguagem grandes (MLGs) para transformar texto em CQL de forma eficiente. Também desenvolvemos novas maneiras de avaliar quão precisas e significativas são as consultas geradas. Nosso trabalho inclui um conjunto de dados que serve como referência e métodos inovadores para converter texto em CQL, com um respaldo de testes rigorosos. Os resultados mostram que nossos métodos funcionam bem e esclarecem os desafios de traduzir texto para CQL.

As tecnologias de PLN tornaram mais fácil a gente se comunicar com computadores. Essa interação é mais intuitiva e eficaz devido a esses avanços. Uma área que avançou bastante é a conversão de consultas em linguagem natural em linguagens de consulta formais como SQL. Porém, enquanto SQL recebeu bastante foco, CQL não teve tanta atenção, mesmo sendo crítico para analisar dados linguísticos.

Embora várias linguagens de consulta tenham sido estudadas, CQL merece mais foco. A pesquisa sobre converter texto em SQL avançou muito, mostrando que instruções em linguagem natural podem ser traduzidas de forma eficaz em consultas formais. Um exemplo disso são estudos que mostram como linguagem natural pode ser transformada em consultas SQL para bancos de dados.

Para mostrar como isso funciona, considere a tarefa de converter um pedido falado ou escrito em uma consulta CQL. O modelo deve converter com precisão a descrição em linguagem natural em CQL que pode ser executada por um Motor de Corpus. O CQL usa símbolos e palavras-chave para construir consultas, especificando nomes para tokens para definir restrições sobre suas relações. Quando executada, os resultados retornados pelo motor devem corresponder à saída esperada.

CQL é essencial para pesquisa linguística, pois permite buscas avançadas com base em características linguísticas. Essa capacidade apoia várias atividades de pesquisa em PLN e linguística computacional. No entanto, criar consultas CQL manualmente é maçante e sujeito a erros, exigindo um alto nível de especialização tanto na linguagem de consulta quanto no corpus específico que está sendo consultado.

Reconhecendo os desafios da criação manual de consultas, este trabalho apresenta a tarefa de converter linguagem natural em CQL. O objetivo é facilitar a criação e o trabalho com corpora linguísticos que contenham anotações ricas. Ao contrário da conversão de texto para SQL, converter texto para CQL tem seus próprios desafios, como a falta de dados de treinamento dedicados e a estrutura complicada do próprio CQL.

Os modelos usados nesse processo precisam captar o significado das descrições em linguagem natural, enquanto também entendem os detalhes das anotações linguísticas e os construtos de consulta específicos do CQL. Este trabalho busca enfrentar esses desafios oferecendo uma estrutura detalhada para a tarefa de conversão para CQL.

Apresentamos um conjunto de dados recém-criado especificamente para essa tarefa, junto com métodos e Métricas de Avaliação voltadas para geração de consultas CQL. Nossas contribuições incluem um amplo conjunto de dados cobrindo várias características linguísticas e tipos de consulta, desenvolvimento de modelos que adaptam grandes modelos de linguagem para essa conversão e a criação de métricas de avaliação que medem tanto a estrutura quanto o significado das consultas.

Resumindo, nossas principais contribuições incluem:

1. Um conjunto de dados grande e variado para converter linguagem natural em CQL, fornecendo uma base para avaliar modelos.
2. Uma gama de metodologias usando grandes modelos de linguagem, incluindo engenharia de prompt e ajuste fino.
3. Novas métricas de avaliação que medem com precisão as complexidades envolvidas na conversão para CQL, focando tanto na estrutura quanto no significado.
4. Experimentos abrangentes que mostram a eficácia dos nossos métodos propostos e insights sobre os desafios de converter texto para CQL.

Com essas contribuições, esperamos melhorar a geração automática de consultas para dados linguísticos e tornar esses recursos mais acessíveis para pesquisadores em PLN e linguística computacional. Queremos que nosso trabalho apoie novas aplicações e fomente a cooperação entre diferentes campos de pesquisa, simplificando como corpora linguísticos são acessados e utilizados.

Disponibilizamos todo nosso código e Conjuntos de dados para fins de pesquisa.

#Trabalho Relacionado

Converter linguagem natural em SQL é uma área de pesquisa importante, focando em transformar perguntas faladas ou escritas em consultas SQL. Um modelo de destaque nesse campo, Seq2SQL, usa técnicas de aprendizado por reforço para gerar consultas SQL de forma precisa, enfatizando especialmente a natureza não ordenada das condições de consulta. Ele teve um bom desempenho tanto na execução quanto na precisão da forma lógica no conjunto de dados WikiSQL.

Outro modelo, TAPEX, foca em um método de pré-treinamento que aprende a executar declarações SQL em um corpus sintético, alcançando resultados de liderança nesse domínio. O conjunto de dados Spider avançou a pesquisa na conversão de linguagem natural para SQL ao introduzir um desafio complexo que exige que modelos se adaptem a várias estruturas em diferentes bancos de dados. RESDSQL introduziu um novo framework para melhorar o desempenho na análise de consultas SQL.

Desenvolvimentos recentes em grandes modelos de linguagem como o GPT-4 também alcançaram resultados impressionantes na conversão de texto para SQL. No entanto, muitos benchmarks, incluindo Spider e WikiSQL, concentraram-se em esquemas de banco de dados com um número limitado de entradas, criando um descompasso entre a pesquisa acadêmica e as aplicações no mundo real. O benchmark BIRD tenta fechar essa lacuna ao fornecer um conjunto de dados abrangente que destaca as dificuldades encontradas ao lidar com valores bagunçados de banco de dados.

Transitar técnicas de Texto-para-SQL para Texto-para-CQL não é fácil, principalmente porque não há muitos dados de treinamento disponíveis para CQL. O crescente interesse em gerar linguagens especializadas a partir da linguagem natural, chamado Texto-para-DSL, tem recebido atenção significativa. A Gramática de Prompt utiliza formas gramaticais para fornecer aos grandes modelos de linguagem diretrizes específicas e conhecimento externo.

A tarefa de gerar consultas na Linguagem de Consulta Overpass a partir da linguagem natural adiciona mais complexidade, dada a natureza de vocabulário aberto do OverpassQL. Essa tarefa envolve usar um conjunto de dados de consultas com entradas correspondentes em linguagem natural, estabelecendo métricas específicas para avaliar como os modelos de geração de sequência se saem.

Transitar metodologias de Texto-para-DSL para Texto-para-CQL é especialmente difícil devido à escassez de dados de treinamento e à complexidade inerente do CQL. Assim, há uma necessidade de conjuntos de dados, modelos e técnicas adaptados para trabalhar com CQL.

CQL é uma linguagem de consulta única projetada especificamente para consultar corpora linguísticos. É vital para a pesquisa linguística, pois permite buscas sutis com base em características linguísticas. No entanto, elaborar consultas CQL manualmente é demorado e exige um conhecimento profundo da linguagem de consulta, assim como das anotações específicas do corpus.

Este trabalho identifica os desafios ligados à construção manual de consultas e as oportunidades apresentadas pela automação. O objetivo da tarefa Texto-para-CQL é conectar descrições em linguagem natural com suas representações em CQL, aumentando a acessibilidade e a eficiência ao interagir com corpora linguísticos ricamente anotados.

#Formulação da Tarefa

A tarefa envolve um conjunto de dados de pares onde uma parte consiste em descrições em linguagem natural e a outra parte é a consulta CQL correspondente. Aqui, cada descrição de consulta em linguagem natural precisa ser convertida em seu equivalente CQL. O objetivo principal é treinar um modelo gerador que possa realizar essa conversão, exigindo que o modelo extraia informações-chave da descrição em linguagem natural e crie uma expressão CQL válida.

#Aquisição de Dados

Utilizamos dois corpora diferentes para nossa pesquisa: um em chinês e o outro em inglês. Ambos os corpora foram anotados usando ferramentas de processamento de linguagem natural. Para a parte em chinês, extraímos materiais didáticos destinados ao ensino de chinês como língua estrangeira para construir nosso corpus TCFL.

O componente em inglês usa o corpus EnWiki, que inclui uma vasta quantidade de texto de artigos da Wikipedia. O total de palavras no EnWiki é de cerca de 1,9 bilhão, distribuídas em mais de 4,4 milhões de artigos.

Nosso conjunto de dados Texto-para-CQL é dividido em dois segmentos: um para pares de linguagem natural em chinês para CQL baseado no corpus TCFL e o outro para pares de linguagem natural em inglês para CQL do corpus EnWiki.

#Estratégias de Geração de CQL

Não pudemos usar alguns métodos tradicionais para criar conjuntos de dados porque não há informação relevante suficiente na internet. Outras técnicas que dependem da geração automática de dados via sintaxe também não são viáveis devido a falhas lógicas nos dados resultantes. Em vez disso, introduzimos um novo método baseado na extração de colocação da língua chinesa.

#Extração de Colocação

Nossa abordagem envolve usar métodos de extração de colocação para aprimorar nosso conjunto de dados. Isso envolve analisar frases para identificar combinações de palavras, levando em conta tanto relações gramaticais superficiais quanto mais profundas.

Para conseguir isso, aplicamos primeiro uma análise de dependência nas frases e, em seguida, extraímos colocações de todo o corpus. Depois disso, selecionamos aleatoriamente dessas colocações extraídas e as aplicamos dentro de templates de CQL.

#Template de CQL

As consultas CQL podem ser divididas em três tipos: simples, dentro e condição. Para cada um desses tipos, criamos templates específicos para guiar a geração de consultas.

Consultas Simples: Nas CQL simples, os usuários podem criar consultas que visam tokens específicos com base em suas relações. Cada token é representado entre colchetes, com condições de filtragem mostradas como expressões de chave-valor.

Consultas Dentro: A sintaxe "dentro" é usada para restringir consultas. Ela permite particionar uma declaração CQL em subconsultas, delineando o contexto em que se deve buscar.

Consultas de Condição: Esse tipo de consulta compara tokens no contexto um do outro. Vários atributos dos tokens podem ser analisados, e estes podem ser conectados através de diferentes operadores lógicos.

#Processo de Anotação

Para garantir clareza e precisão nas descrições em linguagem natural, selecionamos cuidadosamente nossos anotadores. De um grupo inicial, retivemos aqueles que demonstraram forte entendimento tanto em ciência da computação quanto em linguística. Cada consulta CQL passou pela avaliação de dois anotadores e foi revisada por dois especialistas para manter alta qualidade e precisão no conjunto final de dados.

Usamos cinco métodos distintos para criar o conjunto de dados, que incluíram técnicas baseadas em métodos de Aprendizado em Contexto e ajuste fino de modelos de linguagem pré-treinados.

#Métodos de Aprendizado em Contexto

Exploramos múltiplos prompts para avaliar a eficácia de como os grandes modelos de linguagem podem realizar a tarefa de conversão.

Inquisição Direta (DI): Este método pergunta ao modelo diretamente para gerar declarações CQL com base em uma descrição em linguagem natural sem contexto adicional.

Prompt de Documentação (DP): Aqui, o modelo recebe um tutorial explicando a sintaxe de CQL com exemplos, ajudando-o a entender melhor como gerar consultas.

Few-shot ICL: Isso envolve fornecer um número limitado de exemplos no prompt, permitindo que o modelo aprenda a partir dessas instâncias.

#Métodos de Ajuste Fino

A tarefa de converter linguagem natural em CQL pode ser vista como um problema de sequência para sequência, onde a entrada é uma declaração em linguagem natural e a saída desejada é uma consulta CQL. Focamos em modelos com arquiteturas de codificador-decodificador, como BART, que combinam funções de codificação e decodificação para realizar essa tarefa de forma eficaz.

BART foi escolhido por seu pré-treinamento que melhora sua capacidade de compreender linguagem natural e produzir consultas estruturadas. Aplicamos tanto ajuste de prefixo quanto ajuste fino do modelo completo para gerar CQL a partir de textos, comparando a eficácia para diferentes idiomas.

#Métricas de Avaliação

Avalíamos nossa abordagem usando várias métricas para medir o desempenho.

1. Correspondência Exata (EM): Verifica se o CQL gerado corresponde exatamente à referência padrão.

2. Precisão Válida (VA): Essa métrica avalia se as consultas geradas são sintaticamente corretas com base na gramática do CQL.

3. Precisão de Execução (EX): Mede se as consultas CQL executam corretamente no motor de corpus.

4. CQLBLEU: Essa é uma nova métrica que desenvolvemos para avaliar a similaridade entre CQL gerado e referência usando medidas sintáticas e semânticas.

#Comparação de Desempenho do Modelo

Também analisamos como os diferentes modelos se desempenham no conjunto de dados, observando como lidam com vários desafios. Notamos que os modelos tiveram dificuldade com alguns tipos de consultas mais do que com outros, destacando áreas onde melhorias podem ser feitas.

#Conclusão

Neste trabalho, apresentamos um novo processo para converter linguagem natural em Linguagem de Consulta de Corpus (CQL). Essa tarefa é significativa tanto para a pesquisa de corpus quanto para o campo mais amplo do processamento de linguagem natural. No entanto, reconhecemos várias limitações na nossa abordagem atual, como a dependência de dados gerados automaticamente e a demanda por recursos computacionais.

Pesquisas futuras serão cruciais para enfrentar esses desafios, expandir a aplicabilidade em diferentes idiomas e aumentar a escalabilidade enquanto minimiza as necessidades de recursos.