Uma Nova Abordagem para Tradução Automática de Dados Complexos

Traduzir recursos de idiomas principais para criar recursos para idiomas menos comuns é um método comum. Quando lidamos com partes complexas de Dados feitas de várias partes, é usual traduzir cada parte separadamente. No entanto, esse método pode negligenciar como as partes se relacionam entre si na mesma peça de dados. Para consertar isso, sugerimos uma nova forma de abordar a Tradução automática que leva em conta como as partes interagem dentro do mesmo ponto de dados. Chamamos essa abordagem de "relação intra-dados". Na nossa tradução automática, combinamos todas as partes de um ponto de dados em uma única string de tradução e depois desempacotamos de volta em suas partes após a tradução.

Apresentamos duas ferramentas para ajudar com esse processo: a Declaração Catalisadora (CS) para melhorar a relação entre as partes e o Token Indicador (IT) para ajudar a separar a string traduzida de volta em SEUSComponentes originais. Nosso método mostrou melhorar significativamente a qualidade da tradução e a eficácia do treinamento. Comparado ao jeito usual de traduzir cada parte separadamente, nossa técnica fornece dados de treinamento melhores, melhorando o desempenho do modelo em tarefas como classificação de páginas da web em 2,690 pontos e geração de perguntas em 0,845 pontos.

#Desafios na Tradução de Dados

A tradução automática foi desenvolvida para ajudar a traduzir idiomas com precisão, focando em traduzir qualquer texto dado e manter seu significado e fluidez. No entanto, os primeiros sistemas de tradução automática costumavam ter um desempenho ruim, levando a que suas saídas traduzidas raramente fossem usadas como uma fonte de dados confiável. À medida que a pesquisa em tradução automática continua a avançar, o desempenho desses sistemas melhorou, tornando-os mais comparáveis à tradução humana. Recentemente, houve esforços para usar tradução automática para traduzir vários conjuntos de dados, especialmente conjuntos de dados não ingleses que estão sendo criados ao traduzir conjuntos de dados em inglês.

Uma preocupação ao usar tradução automática para tradução de dados é garantir que as conexões entre partes permaneçam intactas durante o processo de tradução. Um único ponto de dados pode consistir em vários componentes. Por exemplo, em tarefas de inferência de linguagem natural, cada ponto tem três partes: a hipótese, a premissa e um rótulo. Ao traduzir dados complexos assim, há muitas vezes um dilema sobre como inserir os dados, já que os sistemas de tradução automática geralmente lidam apenas com uma sequência de texto de cada vez.

Estudos atuais geralmente traduzem as partes individuais de dados separadamente. No entanto, esse método pode não produzir resultados ideais porque as relações entre as partes podem ser ignoradas. Isso pode levar a pares traduzidos que não preservam o rótulo original, mesmo que cada parte possa ser traduzida corretamente. Isso pode prejudicar o desempenho de modelos que são treinados com tais dados traduzidos, uma vez que o significado da tarefa muitas vezes depende das relações entre os componentes dos dados.

Teoricamente, esse problema pode ser minimizado simplesmente combinando todas as partes em uma única sequência antes de traduzir. Assim, o sistema de tradução automática pode considerar os significados das outras partes durante a tradução. No entanto, ao fazer isso, o sistema de tradução automática muitas vezes mescla todos os componentes, resultando em um único texto que é difícil de separar novamente. Isso torna desafiador distinguir as partes individuais após a tradução.

Diante desses problemas, propomos uma estratégia de tradução automática simples, mas eficaz, que pode ser aplicada a qualquer sistema de tradução automática existente sem necessidade de re-treinamento. Nossa abordagem se concentra em combinar componentes conectados em uma sequência, enquanto se preocupa com dois aspectos importantes: (1) a relação entre os componentes deve ser reconhecida na sequência combinada e (2) a string traduzida deve ser fácil de converter de volta em componentes individuais. Para conseguir isso, usamos o Token Indicador (IT) e a Declaração Catalisadora (CS). O IT serve para marcar a posição de cada componente e ajudar a desmontar a string traduzida mais tarde. A CS é projetada para definir claramente a relação entre os componentes na string combinada.

#Pipeline de Tradução Proposto

Para explicar o processo geral, consideramos os dados como tendo duas partes: uma frase de entrada e uma frase de rótulo. Propomos um pipeline simples de três etapas para tradução automática.

Primeiro, combinamos os vários componentes em uma única sequência para tradução. Durante essa combinação, incorporamos a Declaração Catalisadora e o Token Indicador. A CS vai no início da string para definir a relação entre as partes dos dados, enquanto o IT é colocado bem antes de cada componente. Após a tradução ser concluída, extraímos os componentes da string traduzida dividindo-a com base no IT.

Em nossos experimentos, escolhemos tarefas onde manter as relações entre os componentes dos dados é crucial. Usamos o conjunto de dados XNLI e duas tarefas do benchmark XGLUE: classificação de páginas da web (WPR) e geração de perguntas (QG). Traduzimos dados em inglês para cinco idiomas: alemão, francês, chinês, hindi e vietnamita, e avaliamos o desempenho de modelos treinados com esses conjuntos de dados traduzidos.

#Trabalhos Relacionados

Existem duas abordagens principais para construir dados de treinamento usando sistemas de tradução automática. A primeira abordagem visa criar um sistema de tradução específico treinado com um conjunto de dados feito sob medida. Por exemplo, um novo modelo de tradução pode ser criado com um conjunto de dados específico para servir a um propósito particular. No entanto, essas tentativas enfrentam desafios ao usar dados recém-lançados.

A segunda abordagem envolve usar modelos de tradução automática publicamente disponíveis sem alterações para construir conjuntos de dados através da tradução. Esse método inclui ferramentas como DeepL ou Google Translator para criar conjuntos de dados multilíngues de treinamento. No entanto, tentativas passadas de usar modelos existentes sem mudanças enfrentaram limitações na qualidade da tradução em relação a como os componentes se relacionam entre si. Nosso foco está em estabelecer um pipeline de tradução simples que funcione com sistemas de tradução automática, mantendo em mente as relações dentro dos dados.

#Declaração do Problema

Neste estudo, focamos em questões envolvidas na tradução de dados que têm múltiplos componentes usando sistemas de tradução automática padrão. Por exemplo, na tarefa de geração de perguntas, os dados consistem em uma passagem e uma pergunta. É essencial entender que esses componentes têm uma relação específica: um componente é uma passagem que gera a pergunta.

Ao traduzir a passagem para formar um par traduzido, a tradução deve manter a relação. Para garantir que as traduções levem essa relação em conta, o sistema de tradução automática deve considerar ambos os componentes juntos ao traduzir cada um. No entanto, como os sistemas de tradução automática geralmente trabalham com sequências únicas, isso pode ser difícil.

Assim, na maioria dos casos, cada parte do mesmo ponto de dados é traduzida separadamente, o que leva a uma qualidade mais fraca dos componentes traduzidos como dados de treinamento porque a relação entre as partes não é considerada. Esse problema pode ser parcialmente resolvido juntando ambos os componentes em uma string antes da tradução, permitindo que o sistema de tradução automática use o contexto de todas as partes.

No entanto, essa sequência combinada pode resultar em traduções que não podem ser separadas de volta em suas partes originais depois. Os principais desafios apresentados na tradução de dados incluem:

1. Traduzir componentes individuais não considera as relações entre partes no mesmo ponto de dados.
2. Mesclar componentes em uma única sequência sem consideração pode levar a traduções que não podem ser divididas nos componentes de dados originais.

#Nossa Solução: Tradução Consciente de Relação

Para enfrentar esses problemas, apresentamos uma estratégia simples para tradução de dados usando qualquer estrutura de tradução automática padrão. Nosso método envolve um processo claro de três etapas.

Inicialmente, combinamos as partes em uma única string para permitir que o sistema de tradução automática realize a tradução. Durante essa etapa, adicionamos a Declaração Catalisadora e o Token Indicador para aprimorar as relações entre os componentes e ajudar a identificar suas localizações após a tradução. A CS é colocada no início da sequência para tornar mais claras as conexões entre as partes, enquanto o IT é anexado bem antes de cada componente.

Em seguida, traduzimos a string combinada usando o sistema de tradução automática. É importante que o IT permaneça intacto após a tradução. Se o IT se perder, fica difícil separar os componentes traduzidos, e podemos precisar descartar esses dados. Embora isso possa levar a alguma perda, extensos experimentos mostram que ainda podemos obter dados de treinamento de alta qualidade a partir do material traduzido restante.

Finalmente, extraímos os componentes originais da string traduzida. Podemos fazer isso dividindo a string traduzida com base no marcador IT. Dessa forma, recuperamos um conjunto de dados traduzido onde cada ponto de dados é tratado enquanto preserva a relação entre os componentes.

#Token Indicador (IT)

Ao combinar dois ou mais componentes em uma única sequência, é crucial marcar claramente as fronteiras para garantir que a sequência possa ser separada novamente após a tradução. Isso pode ser feito usando pontuação simples. No entanto, a pontuação pode mudar durante o processo de tradução, então é melhor usar um marcador mais definitivo.

Nós precedemos o IT a cada componente de dados ao combiná-los em uma única sequência, marcando claramente suas localizações. Esperamos que o IT permaneça intocado durante a tradução, permitindo-nos separar corretamente os dados traduzidos mais tarde.

Em nossos experimentos, usamos símbolos simples como "@", "#", ou "*" como IT. Estamos cientes de que pode haver opções de IT mais eficazes além desses exemplos, e trabalhos futuros podem explorar isso mais a fundo.

#Declaração Catalisadora (CS)

Enquanto traduzir sequências combinadas nos permite considerar como os componentes se relacionam, pode não ficar claro como essas partes se conectam semanticamente. Usar uma combinação simples pode manter os componentes separados, dificultando para o sistema de tradução automática reconhecer suas relações.

Para aprimorar as conexões entre os componentes, propomos adicionar uma CS. Essa frase extra esclarece a relação entre os componentes dos dados na sequência. Seu objetivo é deixar as conexões claras durante o processo de tradução, permitindo que a tradução automática veja os componentes como um todo relacionado em vez de declarações separadas.

Definimos dois tipos de CS: definições de relação direta e aquelas que simplesmente ligam os componentes. Em nosso estudo, focamos nesses dois tipos para fins de análise, embora existam outras opções.

#Configurações Experimentais

#Detalhes do Conjunto de Dados

Para testar nossa abordagem, utilizamos o conjunto de dados XNLI e selecionamos tarefas do benchmark XGLUE, especificamente WPR e QG. Nosso objetivo era alcançar resultados diversos experimentando em dois a cinco idiomas para cada conjunto de dados.

#Detalhes da Avaliação

Avalizamos os resultados da nossa tradução com base em dois critérios principais: reversibilidade dos dados e qualidade da tradução. Reversibilidade verifica se uma string traduzida pode ser convertida de volta em seus componentes originais. Se combinarmos componentes em uma sequência, uma falha em separá-los depois é considerada uma falha de tradução.

O segundo critério é a qualidade geral dos dados traduzidos. Queremos garantir que nosso pipeline de tradução automática melhore a utilidade dos dados traduzidos para treinar modelos. Verificamos a precisão dos rótulos para medir o desempenho em tarefas de NLI e WPR e usamos pontuações ROUGE-L para tarefas de QG.

#Detalhes do Modelo

Escolhemos sistemas de tradução automática multilíngues capazes de traduzir vários idiomas, especificamente NLLB e M2M100. Usamos versões menores dos modelos maiores originais: NLLB-600M, NLLB-1.3B e M2M100-418M. Depois de traduzir os dados, afinamos os conjuntos de dados traduzidos usando modelos de linguagem multilíngues pré-treinados para avaliar sua eficácia como dados de treinamento.

#Resultados e Discussão

#Simples Concatenação Não Garante Reversibilidade

Destacamos que traduzir uma sequência combinada pode frequentemente levar a problemas onde a saída traduzida não pode ser convertida de volta em componentes separados. Nossos experimentos mostraram que em muitos casos, as sequências traduzidas perderam os marcadores originais. Por exemplo, usar o modelo NLLB-1.3B para dados de treinamento em alemão resultou em apenas 19,47% dos pontos de dados sendo preservados com sucesso, ou seja, cerca de 80% das sequências traduzidas não foram úteis como componentes de dados.

#Adicionar CS e Seleção de IT Pode Resolver Problemas

Nossos experimentos mostraram que usar CS e seleção cuidadosa de IT melhora as chances de reversibilidade bem-sucedida. Por exemplo, usar "@" como IT levou a um aumento significativo na reversibilidade em relação a outros símbolos. Além disso, a inclusão de uma CS melhorou ainda mais o desempenho, especialmente quando a CS definia mais claramente as relações entre os componentes.

#IT e CS Aumentam a Eficácia como Dados de Treinamento

Embora possamos aumentar a reversibilidade através de IT e CS, existe um trade-off, já que traduzir cada componente separadamente pode resultar em um conjunto de dados maior. No entanto, sustentamos que a qualidade dos dados das traduções separadas provavelmente é mais baixa.

Nosso foco é melhorar o valor dos dados traduzidos para instâncias de treinamento. Mostramos que nossa abordagem melhora significativamente o desempenho de modelos treinados em nossos dados traduzidos em comparação com os componentes de dados traduzidos individualmente.

#Mesmo Pequena Quantidade Pode Gerar Dados de Alta Qualidade

Embora nossas traduções conscientes de relação possam resultar em menos pontos de dados do que traduções individuais, a qualidade foi notavelmente melhor. Por exemplo, mesmo com apenas 28% dos dados de QG preservados, traduções que consideraram as relações entre os componentes tiveram um desempenho melhor do que os 100% de dados de treinamento gerados por traduções separadas. Isso valida nosso framework como um método viável para obter dados de treinamento de alta qualidade.

#Tradução Consciente de Relação Produz Melhores Dados

Nossos resultados demonstram que qualquer método que combine componentes de dados para tradução superou a tradução separada. Melhorar as inter-relações definidas pela CS levou a resultados melhores, destacando a importância de considerar as relações durante a tradução.

#Avaliação de LLM

Para analisar ainda mais o impacto de nossa estratégia de IT e CS, utilizamos grandes modelos de linguagem (LLMs) para avaliar a qualidade dos dados traduzidos. Nossas descobertas sugerem que a abordagem aumentou visivelmente o número de pontos de dados de alta qualidade, ao mesmo tempo em que diminuiu as instâncias de qualidade inferior. Isso confirma a eficácia da nossa técnica em tradução de dados.

#IT e CS Melhoram a Qualidade da Tradução

Usar conjuntos de dados que incluem referências geradas por humanos nos permite medir a qualidade da tradução. Nossa análise revelou que incorporar IT e CS aumentou significativamente a qualidade da tradução em comparação com a abordagem de tradução separada tradicional.

#Testando em Diferentes Modelos de Tradução Automática

Para verificar a aplicabilidade ampla de nosso framework, avaliamos seu desempenho em diferentes modelos de tradução automática. Os resultados mostraram consistentemente que nossa abordagem superou o método de tradução separada.

#Análise Qualitativa

Nossa análise de resultados de tradução reais confirmou a eficácia de nosso IT e CS na tradução de dados. Descobrimos que traduções conscientes de relação mantiveram o significado original e o contexto melhor do que quando os componentes foram traduzidos separadamente.

#Conclusão

Neste estudo, analisamos os desafios da tradução de dados complexos usando frameworks de tradução automática. Apontamos que traduzir cada componente separadamente ignora suas inter-relações, resultando em dados de menor qualidade. Embora combinar componentes em uma única string possa ajudar, isso corre o risco de dificultar a separação dos componentes originais após a tradução.

Propomos um pipeline de tradução consciente de relação que usa IT e CS para aprimorar a eficácia dos dados traduzidos. Nossos resultados empíricos mostram a importância de considerar as relações entre os componentes para uma tradução automática bem-sucedida. Este trabalho estabelece as bases para pesquisas futuras no campo da tradução de dados.

#Limitações e Pesquisa Futura

#Limitações do Ambiente Experimental

Reconhecemos três limitações principais em nossos experimentos. Primeiro, testamos apenas tipos específicos de IT e CS. Embora nossos resultados mostrem melhorias, não pudemos explorar todas as variações potenciais, deixando espaço para estudos futuros.

Em segundo lugar, limitamos os tipos de modelos de tradução automática usados. Embora tenhamos coberto alguma variedade, expandir para mais modelos aumentaria a generalizabilidade das descobertas.

Por fim, restringimos nossas opções de idiomas devido a limitações de recursos. Não conseguimos testar todos os idiomas nos conjuntos de dados, mas incluímos diversidade suficiente para garantir que nossos resultados não fossem tendenciosos.

#Declaração de Ética

Nosso estudo utilizou conjuntos de dados publicamente disponíveis, seguindo as regulamentações necessárias sobre os direitos autorais da pesquisa original. Confirmamos que nosso uso desses conjuntos de dados não apresenta questões éticas.

#Detalhes de Implementação

Todos os experimentos foram realizados em uma única GPU, com um conjunto específico de taxas de aprendizado escolhidas para resultados ótimos. As configurações dos modelos foram obtidas de bibliotecas estabelecidas de aprendizado de máquina.

#Detalhes do Conjunto de Dados

Validamos nossa abordagem usando o conjunto de dados XNLI e tarefas específicas do benchmark XGLUE. As tarefas variaram em complexidade, envolvendo pares de frases categorizados em relações semânticas ou classificações de relevância. A avaliação foi realizada em vários idiomas para garantir uma análise abrangente enquanto evitava viés.

#Detalhes da Avaliação de LLM

Empregamos LLMs para avaliar a qualidade dos conjuntos de dados traduzidos, ilustrando a eficácia de nossa metodologia na avaliação da qualidade da tradução em diferentes contextos.