Examinando Mudanças de Sentimento na Tradução Automática
Este estudo investiga como a tradução automática impacta a representação de sentimentos.
― 6 min ler
Nos últimos anos, o interesse sobre como a tecnologia, especialmente a inteligência artificial, afeta nossas percepções e experiências só tem crescido. Um foco é a Tradução Automática, que traduz texto de uma língua para outra. Esse estudo investiga se a tradução automática pode mudar os sentimentos ou as emoções transmitidas no texto.
Contexto
Os Preconceitos na tecnologia podem levar a resultados injustos. Já teve um monte de estudos sobre preconceitos em várias áreas, como reconhecimento de imagem e reconhecimento de voz. Nesses estudos, os pesquisadores descobriram que certos modelos podiam favorecer um grupo de pessoas em detrimento de outro, muitas vezes baseado em gênero ou etnia. Por exemplo, em títulos de trabalho, as traduções tendem a favorecer pronomes masculinos. Preocupações semelhantes existem para a tradução automática, onde as traduções podem carregar preconceitos do texto original.
O preconceito de sentimento é outra preocupação. Isso acontece quando a forma como uma frase é formulada ou palavras específicas usadas podem influenciar se a frase é vista como positiva, negativa ou neutra. Por exemplo, uma frase sobre um "padeiro" pode receber um sentimento mais favorável do que uma sobre um "contador", levantando questões sobre como a tradução automática afeta esses sentimentos.
Foco da Pesquisa
Esse estudo investiga se o sentimento expresso no texto muda quando traduzido de uma língua para outra e depois de volta. Os pesquisadores usaram três sistemas diferentes de tradução automática para traduzir textos entre cinco línguas e buscaram mudanças nos sentimentos após as traduções.
Sistemas de Tradução Automática Usados
O estudo focou em três ferramentas de tradução, cada uma capaz de traduzir várias línguas:
No Language Left Behind: Esse modelo foi criado para ajudar a traduzir línguas com poucos recursos e consegue lidar com mais de 200 línguas. Foi construído com um grande conjunto de dados e usa uma arquitetura específica que permite uma tradução eficiente.
Argos-translate: Essa é uma ferramenta de tradução de código aberto que aplica uma abordagem geral de tradução. Usa uma mistura de dados de várias fontes para ajudar a traduzir entre diferentes línguas, mas às vezes isso pode levar a resultados menos precisos.
BERT2BERT: Esse é um modelo mais avançado que usa a arquitetura BERT para tradução. Ele é treinado em várias línguas e foi feito para melhorar a qualidade das traduções.
Modelos de Análise de Sentimentos
Para analisar os sentimentos, os pesquisadores usaram ferramentas diferentes para cada língua:
- GermanSentiment: Especificamente feito para texto em alemão, esse modelo avalia o feedback dos usuários.
- Vader: Um modelo baseado em regras para inglês que determina o sentimento com base em palavras e frases específicas.
- PySentimiento: Um modelo de análise de sentimentos em espanhol que usa tweets para treino.
- HeBERT: Um modelo ajustado para classificação de sentimentos em hebraico baseado em conteúdo online.
- ASBA: Um modelo para sentimentos em chinês focado em avaliações de produtos específicas.
Metodologia
Os pesquisadores traduziram o texto original para uma língua intermediária antes de traduzir de volta para a língua original. Assim, puderam comparar:
- O texto original com a primeira tradução.
- A versão traduzida de volta com o texto original.
- A primeira tradução com a tradução de volta.
Fazendo isso, eles tentaram ver se as traduções causaram mudanças nos sentimentos reconhecidos.
Análise Estatística
Para determinar se existiam preconceitos, os pesquisadores usaram testes estatísticos. Eles compararam a distribuição dos rótulos de sentimento para ver se havia diferenças significativas antes e depois da tradução. Eles especificamente procuraram mudanças na distribuição de sentimentos entre as traduções, o que poderia indicar preconceito.
Resultados
Os resultados mostraram que, enquanto alguns processos de tradução causaram mudanças no sentimento, essas mudanças não foram consistentes o suficiente para concluir que a tradução automática introduziu preconceito. Na maioria dos casos, não houve uma indicação clara de que a tradução mudou o sentimento de forma significativa.
Algumas observações específicas incluíram:
As traduções às vezes mudaram o sentimento para um rótulo neutro, especialmente com o sistema Argos ao traduzir do alemão para o inglês. No entanto, essa mudança não foi apoiada por uma análise significativa da distância entre as distribuições de sentimento.
O estudo descobriu que traduções envolvendo chinês às vezes demonstraram distâncias maiores nos rótulos de sentimento. Porém, isso foi atribuído ao modelo de análise de sentimentos usado para o chinês ser binário-significando que ele só classifica sentimentos como positivos ou negativos, ao contrário de outros modelos que têm uma categoria neutra.
Os dados mostraram resultados mistos. Em alguns casos, os sentimentos após a tradução alinharam-se de perto com os sentimentos originais, indicando que a tradução pode não ter um efeito forte no sentimento.
Discussão
Esses achados sugerem que, embora a tradução automática possa influenciar o sentimento até certo ponto, pode não sempre produzir preconceitos consistentes. Os pesquisadores notaram que as diferenças observadas poderiam vir de vários fatores, incluindo os modelos específicos usados ou as línguas envolvidas.
Estudos futuros poderiam olhar mais de perto para as intricacias de como palavras ou frases específicas podem levar a mudanças de sentimento com a tradução. Os pesquisadores também podem querer explorar o impacto de mudanças na gramática ou vocabulário nas traduções para entender melhor a dinâmica em jogo.
Conclusão
No geral, esse estudo ilumina a relação complexa entre tradução automática e preconceito de sentimento. Embora esteja claro que preconceitos podem existir, os resultados indicam que o processo de tradução em si não leva sempre a mudanças significativas no sentimento.
Com uma melhor compreensão dessa relação, desenvolvedores e pesquisadores podem trabalhar para criar tecnologias de tradução mais justas e precisas, levando a uma comunicação melhor entre diferentes línguas e culturas.
Título: Measuring Sentiment Bias in Machine Translation
Resumo: Biases induced to text by generative models have become an increasingly large topic in recent years. In this paper we explore how machine translation might introduce a bias in sentiments as classified by sentiment analysis models. For this, we compare three open access machine translation models for five different languages on two parallel corpora to test if the translation process causes a shift in sentiment classes recognized in the texts. Though our statistic test indicate shifts in the label probability distributions, we find none that appears consistent enough to assume a bias induced by the translation process.
Autores: Kai Hartung, Aaricia Herygers, Shubham Kurlekar, Khabbab Zakaria, Taylan Volkan, Sören Gröttrup, Munir Georges
Última atualização: 2023-06-12 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2306.07152
Fonte PDF: https://arxiv.org/pdf/2306.07152
Licença: https://creativecommons.org/licenses/by-nc-sa/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://en.wikibooks.org/wiki/Basic_Book_Design/Capitalizing_Words_in_Titles
- https://en.wikibooks.org/wiki/LaTeX/Special_Characters#Escaped_codes
- https://globalvoices.org/
- https://www.springer.com/us/computer-science/lncs/conference-proceedings-guidelines
- https://www.overleaf.com/project/63c940baaa38a92a1d238d3c