Entendendo Alucinações em Sistemas de Tradução Multilíngue

Sistemas de Tradução automática multilíngue em larga escala estão mostrando um grande potencial em traduzir entre várias Línguas diretamente. Essa qualidade faz deles interessantes para usos da vida real. No entanto, quando esses Modelos são usados em situações reais, eles podem gerar traduções estranhas ou incorretas, muitas vezes chamadas de Alucinações. Essas imprecisões podem prejudicar a confiança dos usuários e criar problemas de segurança. A maioria dos estudos anteriores sobre alucinações se concentrou em modelos de tradução menores que trabalham com apenas algumas línguas, especialmente aquelas com muitos recursos. Isso deixa uma lacuna no conhecimento sobre como as alucinações aparecem em sistemas que lidam com muitas línguas e diferentes situações de tradução.

Neste estudo, analisamos de perto dois tipos de modelos: a família M2M de modelos tradicionais de tradução automática neural e o ChatGPT, que é um modelo de linguagem de propósito geral. Estudamos mais de 100 direções de tradução diferentes em vários níveis de recursos, evitando apenas pares de línguas baseados em inglês. Isso nos permitiu aprender sobre a frequência das alucinações, quais características elas têm e como podemos reduzi-las. Com isso, pretendemos ajudar a criar sistemas de tradução automática mais confiáveis.

#Avanços Recentes em Tradução Automática Multilíngue

Desenvolvimentos recentes em tradução automática nos aproximaram da ideia de um sistema de tradução universal-um único modelo que pode traduzir muitas línguas e direções de forma eficiente. Modelos tradicionais de tradução automática costumam exigir treinamento em muitos textos paralelos, o que significa ter o mesmo texto em duas línguas para aprender. Em contraste, novos modelos de linguagem podem reunir conhecimento de quantidades enormes de texto em várias línguas sem precisar desses dados paralelos. Isso levou a um desempenho melhor e menos desafios de engenharia.

Apesar desses avanços, quando esses modelos são usados em cenários da vida real, eles ainda podem criar alucinações. Essas são traduções que não representam com precisão o conteúdo original. Este é um problema reconhecido entre os pesquisadores, e vários estudos têm se dedicado a uma melhor detecção e manejo desses problemas. No entanto, muitos desses estudos foram sobre modelos bilíngues pequenos que não fornecem muitas informações sobre como sistemas Multilíngues maiores funcionam em diferentes línguas e contextos.

#Nosso Trabalho

Nossa pesquisa foca em preencher essa lacuna examinando alucinações em dois tipos de modelos. O primeiro tipo são os modelos M2M, que incluem grandes modelos multilíngues de código aberto. O segundo tipo é o ChatGPT, que, embora não projetado especificamente para tradução, mostra habilidades impressionantes em gerar traduções quando solicitado.

Classificamos nosso estudo em dois tipos de alucinações, como reconhecido na literatura existente: alucinações criadas a partir de alterações no texto fonte e alucinações naturais que ocorrem sem nenhuma alteração.

#Alucinações de Mudanças no Texto Fonte

Primeiro, examinamos quão robustos os modelos são a mudanças no texto fonte. Sabe-se que pequenos erros, como erros de digitação ou de capitalização, podem levar a traduções incorretas. Queríamos ver se essa tendência se mantém para os modelos multilíngues maiores.

Nossos achados mostraram que esses modelos frequentemente têm dificuldades com alucinações, especialmente ao traduzir de línguas de baixo recurso ou ao traduzir a partir do inglês, com alguns modelos gerando mais de 10% de traduções alucinatórias.

#Alucinações Naturais

Em seguida, analisamos alucinações que ocorrem sem qualquer perturbação no texto fonte. Investigamos a prevalência desses tipos de alucinações em diferentes línguas e condições. Os resultados mostraram que línguas de baixo recurso tendem a produzir mais alucinações, e essas frequentemente refletem padrões vistos nos dados de treinamento, o que pode levantar preocupações de segurança.

Notamos também que modelos menores, obtidos através de métodos de treinamento especial, podem ter taxas mais baixas de alucinações. Esses modelos se beneficiam de escolhas de design que os encorajam a confiar mais na entrada fonte em vez de seguir os padrões aprendidos durante o treinamento.

Por outro lado, o ChatGPT produziu alucinações que diferiam das vistas em modelos de tradução tradicionais. A maioria dessas alucinações foi de traduções fora do alvo ou casos em que o modelo tentou traduzir, mas falhou.

#Conclusões Chave

Através de nossa análise, encontramos vários pontos importantes sobre alucinações:

• Modelos multilíngues apresentam altas taxas de alucinação com línguas de baixo recurso e ao traduzir a partir do inglês.
• Alucinações em línguas de baixo recurso podem revelar padrões tóxicos devido aos dados de treinamento usados, levando a sérios riscos de segurança.
• Modelos menores podem diminuir taxas de alucinação através de maior dependência de representações fonte e escolhas de treinamento cuidadosas.
• O ChatGPT gera diferentes tipos de alucinações, focando principalmente em traduções fora do alvo e sobregeração.
• Alucinações podem ser persistentes e difíceis de corrigir usando modelos com dados e estruturas semelhantes, enquanto modelos diferentes podem ajudar a melhorar a qualidade da tradução.

Para apoiar pesquisas futuras, estamos disponibilizando nosso código e traduções em mais de 100 direções diferentes.

#O Processo de Tradução Automática Multilíngue

Modelos modernos de tradução multilíngue visam traduzir diretamente entre muitas línguas sem depender de uma língua intermediária. Para construir esses sistemas, os desenvolvedores geralmente treinam grandes modelos em conjuntos de dados extensos coletados de várias fontes, frequentemente exigindo uma quantidade significativa de texto paralelo.

Comparados aos modelos tradicionais, esses sistemas multilíngues mostram melhorias notáveis, especialmente para línguas com menos recursos. Eles se beneficiam mais do aprendizado por transferência, que permite compartilhar conhecimento entre diferentes línguas.

Alternativamente, novos modelos de linguagem podem usar conjuntos de dados enormes de texto monolíngue, que os ajudam a se destacar em muitas tarefas de processamento de linguagem natural. Para tradução, esses modelos podem produzir traduções fluentes, especialmente para línguas com materiais de treinamento abundantes.

#Desafios das Alucinações

Alucinações representam um grande problema na tradução automática, pois podem minar a eficácia dos sistemas utilizados. Esse desafio é distinto das alucinações vistas em outras formas de geração de linguagem natural, que costumam ser mais evidentes. Alucinações na tradução não são tão frequentes em dados limpos e geralmente exigem algum tipo de interferência artificial para se tornarem detectáveis.

Nós categorizamos alucinações em duas grupos: aquelas que ocorrem com perturbações no texto fonte e aquelas que acontecem naturalmente.

#Alucinações com Perturbações

Quando modelos criam uma tradução significativamente pior após uma pequena mudança no texto fonte, isso indica uma falta de robustez. Trabalhos anteriores mostraram como pequenos erros podem levar a problemas de tradução significativos, e nosso estudo confirma esses achados para sistemas multilíngues maiores.

#Alucinações Naturais

Por outro lado, alucinações naturais são aquelas que aparecem sem qualquer manipulação do texto fonte. Elas ocorrem mais raramente e são mais difíceis de estudar. Seguimos um sistema de classificação que as agrupa com base no nível de conexão com o texto original.

#Configuração Experimental

Em nossa análise, focamos em duas classes de modelos de tradução: modelos tradicionais de tradução automática neural multilíngue e modelos de linguagem de propósito geral. Avaliamos a qualidade das traduções em vários conjuntos de dados conhecidos por suas referências confiáveis.

#Conjuntos de Dados

Usamos conjuntos de dados bem estabelecidos em nossa análise, garantindo que escolhemos pares traduzidos familiares tanto para pesquisadores quanto para praticantes. Isso incluiu o conjunto de dados Flores, que consiste em textos da Wikipedia em várias línguas e nos permite avaliar alucinações de forma eficaz.

#Métricas de Avaliação

Para avaliar nossas descobertas, usamos principalmente spBLEU, que é uma métrica para medir a qualidade da tradução. Além disso, adotamos outras métricas modernas para validar nossos resultados.

#Alucinações com Perturbações

Nosso foco inicial foi em alucinações resultantes de mudanças artificiais. Descobrimos que essas mudanças podem desencadear alucinações, mesmo em modelos maiores.

• Níveis de Recursos: Normalmente, à medida que línguas têm mais material de recursos para treinamento, as taxas de alucinações diminuem. Foi evidente que línguas de alto recurso geraram muito menos alucinações.
• Comportamento do Modelo: Diferentes modelos dentro da mesma família mostraram diferentes níveis de resistência a alucinações.

#Insights sobre Padrões de Alucinação

As tendências que observamos revelaram que modelos menores criaram alucinações com menos frequência, provavelmente devido às suas escolhas de design. O uso de um decodificador mais superficial nesses modelos parecia encorajá-los a confiar mais no texto fonte.

Por outro lado, modelos maiores, embora tipicamente de maior qualidade, enfrentaram mais dificuldades com alucinações ao traduzir para fora do inglês.

#Alucinações Naturais

Na fase seguinte, examinamos como alucinações naturais são criadas e suas características.

#Observações Centradas na Língua

Alucinações naturais eram mais comuns em traduções que não envolviam o inglês. Nossa análise se estendeu a diferentes domínios, incluindo áreas especializadas como traduções médicas, onde imprecisões podem afetar muito os resultados.

#Toxicidade em Alucinações

A toxicidade nas traduções representa um risco significativo. Algumas alucinações produzem conteúdo prejudicial ou inseguro, especialmente ao traduzir do inglês para línguas de baixo recurso. Essas traduções tóxicas podem frequentemente ser rastreadas até padrões encontrados nos dados de treinamento.

#Além de Traduções Centrais no Inglês

Mudamos nosso foco para traduções que não incluem inglês e exploramos como as alucinações apareceram nesses cenários.

#Restrições de Recursos

Modelos mostraram problemas semelhantes com alucinações em configurações não inglesas, particularmente para línguas com recursos limitados.

#Mitigando Alucinações

Com base em nossas descobertas, exploramos estratégias para reduzir alucinações. Propomos um setup híbrido envolvendo sistemas de fallback- a ideia de que quando um modelo primário enfrenta dificuldades, outro modelo pode entrar para ajudar.

#Eficácia dos Sistemas de Fallback

Testamos modelos de diferentes famílias como sistemas de fallback. Essa abordagem revelou consideráveis melhorias na qualidade da tradução e uma diminuição significativa nas alucinações oscilatórias quando modelos externos foram usados.

#Conclusão

Nossa investigação abrangente sobre alucinações em modelos de tradução multilíngue revela insights significativos. Ao estudar uma ampla gama de línguas e condições, conseguimos identificar problemas que limitam a confiabilidade desses modelos.

Nossas descobertas contribuem para uma melhor compreensão de como as alucinações se manifestam em diferentes contextos e como podemos abordá-las. Ao liberar nosso conjunto de dados e descobertas, pretendemos ajudar pesquisas futuras na criação de sistemas de tradução automática mais seguros e eficazes.

#Direções Futuras

Apesar de nossos esforços, alguns aspectos de nossa análise ainda apresentam desafios, particularmente na generalização de nossos achados para modelos além da família M2M. Também estamos cientes das limitações nos métodos de detecção e do potencial de viés não detectado nos dados de treinamento.

Esperamos continuar essa linha de pesquisa, buscando avanços que nos ajudem a entender e abordar melhor os problemas associados às alucinações em sistemas de tradução automática.