Avaliando a Eficácia do ChatGPT para Tradução em Linguagem Simples

Este artigo analisa quão eficaz o ChatGPT é para traduzir documentos oficiais para a Língua Fácil na Alemanha. A Língua Fácil é uma forma simplificada do alemão, feita para ajudar pessoas com dificuldades de leitura. O objetivo é descobrir se o ChatGPT consegue traduzir textos complexos de sites governamentais de um jeito mais fácil de entender.

#A Necessidade da Língua Fácil

Na Alemanha, tem uma lei que obriga as agências públicas a darem informações em Língua Fácil para pessoas com deficiência. Isso quer dizer que quando alguém pede informação, as entidades governamentais devem explicar as coisas de um jeito simples e claro. Mas, muitas agências não oferecem Conteúdo suficiente em Língua Fácil, dificultando o acesso à informações importantes para algumas pessoas.

Um grande problema é que traduzir para Língua Fácil dá muito trabalho e leva tempo. Precisam de profissionais treinados, já que os padrões para Língua Fácil são específicos. Isso cria um problema: de um lado, tem uma demanda crescente por textos em Língua Fácil, e do outro, não tem tradutores qualificados o suficiente.

Muitas traduções são feitas por pessoas que não têm a formação adequada em Tradução. Isso pode incluir funcionários de agências públicas ou assistentes sociais. Por causa disso, a qualidade dos textos em Língua Fácil pode ser inconsistente e às vezes ruim, o que não ajuda quem realmente precisa desses textos. Textos mal escritos em Língua Fácil podem confundir os leitores e prejudicar a reputação dessa forma de comunicação.

#O Papel da Tecnologia

Com a demanda crescente por Língua Fácil, fica claro que precisa de ajuda tecnológica. Como a Língua Fácil segue regras específicas para palavras, frases e estrutura geral, pode se dar bem com processos automatizados. No entanto, a maioria das traduções ainda é feita manualmente, o que não é suficiente para acompanhar a demanda crescente.

ChatGPT, um modelo de linguagem treinado com uma quantidade enorme de dados da internet, pode ter a capacidade de simplificar textos. A ideia é que ele consiga pegar um texto complicado e produzir uma versão mais fácil de ler. Mas até agora, pouca pesquisa analisou o quão bem o ChatGPT pode fazer esse tipo específico de tradução.

#Pesquisas Relacionadas

A pesquisa sobre Língua Fácil aumentou desde 2014, com muitos estudos examinando a qualidade dos textos e as barreiras de comunicação. Alguma pesquisa focou na compreensibilidade e como diferentes públicos entendem os textos. Enquanto houve um avanço nas técnicas de simplificação automática de textos, esses métodos muitas vezes não consideram as necessidades específicas de quem precisa da Língua Fácil.

Outros estudos exploraram como fazer ferramentas de tradução assistida por computador (CAT) serem eficazes para a Língua Fácil. No entanto, ainda existem desafios, como a necessidade de descrições precisas e explicações claras dos conceitos. Não existe uma ferramenta específica projetada para tradução em Língua Fácil que atenda a todas as necessidades.

Alguns esforços recentes observaram como modelos neurais podem se adaptar às características da Língua Fácil, como o uso de palavras simples e a simplificação de frases. No entanto, essas tentativas nem sempre mantiveram o significado original ou a qualidade do conteúdo. Em muitos casos, os resultados ainda permanecem complexos e difíceis de entender.

#Design da Pesquisa

Para testar o ChatGPT na tradução para Língua Fácil, foram selecionados vinte textos diferentes de autoridades públicas alemãs. Cada texto abordava uma variedade de tópicos, como reportar objetos perdidos, tirar licença parental ou obter um verificado de antecedentes criminais. O tamanho desses textos variava.

A pesquisa testou duas abordagens para essa tarefa de tradução. A primeira abordagem foi holística, onde o texto foi traduzido todo de uma vez. Dado que a Língua Fácil tem regras específicas, a segunda abordagem focou em quebrar a tradução em etapas menores, abordando diferentes níveis como estrutura do texto, construção de frases e escolha de palavras.

Na abordagem holística, pediu-se ao ChatGPT que traduzisse um texto inteiro para Língua Fácil. No entanto, ficou claro que as traduções não seguiam as regras da Língua Fácil e ainda eram muito complexas. Como resultado, uma segunda rodada de solicitações foi feita para simplificar ainda mais os textos.

Na segunda abordagem, ajustes foram feitos passo a passo. O processo começou pedindo ao ChatGPT que reescrevesse o texto, excluindo informações desnecessárias. O próximo passo envolveu reformular frases para eliminar estruturas compostas e simplificar a sintaxe. Finalmente, palavras difíceis foram explicadas dentro do texto.

A análise se concentrou nos resultados finais de ambas as abordagens para avaliar quão bem elas atenderam aos critérios da Língua Fácil.

#Resultados

A correção das traduções foi avaliada por duas pessoas que analisaram o conteúdo de forma independente. O objetivo era identificar qualquer imprecisão nas traduções. Encontrou-se que 37,5% dos textos gerados estavam corretos. A abordagem holística resultou em mais traduções incorretas, totalizando 80%, enquanto o método passo a passo teve uma taxa incorreta de 45%.

Foi observado que um rótulo de "incorreto" não significa que toda a informação estava errada. Para muitos textos marcados como incorretos, a maior parte da informação ainda era precisa, mas alguns detalhes cruciais estavam faltando, o que mudava a mensagem geral.

Ao examinar a Legibilidade das traduções, a abordagem holística produziu uma pontuação de legibilidade mais alta, com algumas traduções alcançando níveis aceitáveis para Língua Fácil. No entanto, o método mais passo a passo resultou em textos que não atenderam de forma alguma aos padrões de legibilidade da Língua Fácil.

Além disso, ambas as versões simplificadas mostraram uma maior ocorrência de estruturas de frases complexas em comparação com o texto original. A análise apontou como certos tipos de orações eram mais comuns nos textos traduzidos, o que pode ter tornado mais difícil a compreensão.

#Resumo e Discussão

O estudo teve como objetivo avaliar quão bem o ChatGPT poderia traduzir textos administrativos para a Língua Fácil. Os resultados indicaram que, embora os textos gerados fossem mais fáceis de ler do que os originais, ainda não estavam totalmente em conformidade com as diretrizes da Língua Fácil. Isso quer dizer que, embora a simplificação tenha ocorrido, não foi o suficiente para tornar os textos acessíveis para todos.

Além disso, a precisão do conteúdo foi uma preocupação significativa. A maioria das traduções continha pelo menos uma informação incorreta, o que poderia enganar os leitores. Em muitos casos, os textos rotulados como incorretos ainda retinham a maior parte do conteúdo correto, mas faltavam detalhes essenciais.

A conclusão geral é que o ChatGPT poderia ser um bom ponto de partida para tradutores profissionais. No entanto, não deve ser confiado como uma ferramenta de tradução isolada para a Língua Fácil. Tradutores humanos continuam sendo essenciais para garantir que as traduções sigam as regras necessárias e transmitam a mensagem pretendida para os públicos-alvo.

Tradutores que usam o ChatGPT para trabalho em Língua Fácil devem ter habilidades em pós-edição, como identificar erros e fazer os ajustes necessários. Embora haja potencial para a automação da tradução para a Língua Fácil, a tarefa exige mais do que apenas aplicar regras. É preciso um entendimento profundo tanto do material de origem quanto do público-alvo.

Para melhorar os resultados do ChatGPT, os tradutores devem fornecer contexto e funções específicas antes de pedir traduções. Fazendo isso, eles podem receber resultados que sejam mais claros e mais adequados aos padrões da Língua Fácil.

Pesquisas futuras vão focar em expandir os métodos de avaliação e explorar áreas onde as traduções podem faltar informações específicas. Há uma necessidade contínua de refinar o uso de tecnologias como o ChatGPT em tarefas de tradução intralingual, garantindo que as necessidades de todos os leitores sejam atendidas.