Tornando a Avaliação de Tradução Automática Mais Eficiente

Avanços recentes em tradução automática (MT) levaram ao desenvolvimento de Métricas de Avaliação que medem a qualidade das traduções. Uma dessas métricas, a xCOMET, mostrou resultados muito bons em comparação com avaliações humanas. No entanto, o modelo do qual ela depende é grande, tornando o uso caro e difícil de acessar, especialmente para quem tem recursos computacionais limitados. Neste artigo, vamos ver formas de tornar a xCOMET mais barata e rápida, mantendo sua qualidade.

#A Necessidade de Métricas de Avaliação Eficientes

Métricas de avaliação automáticas desempenham um papel crítico em medir quão bem as máquinas traduzem idiomas. Pesquisadores e profissionais frequentemente precisam dessas métricas para avaliar traduções, resumos, poesias ou outras tarefas que envolvem línguas naturais. As métricas de avaliação também ajudam a filtrar conjuntos de dados, usar métricas como recompensas para aprendizado de máquina e selecionar as melhores saídas de diferentes sistemas.

A métrica xCOMET, que é a mais avançada, é baseada em modelos grandes que contêm bilhões de parâmetros, tornando-os pesados computacionalmente. Muitos pesquisadores não têm os recursos necessários para rodar esses modelos. Por exemplo, filtrar um grande conjunto de dados com a xCOMET pode levar mais de 142 horas em uma GPU de consumidor padrão e gastar muita eletricidade. Essa situação destaca a necessidade de alternativas que sejam não apenas eficazes, mas também eficientes o suficiente para serem usadas por todos.

#Técnicas para Criar Métricas Eficientes

Para abordar os problemas em torno de métricas grandes como a xCOMET, exploramos três técnicas principais: Destilação, Quantização e Poda.

1. Destilação: Esse método envolve treinar um modelo menor para imitar a saída de um modelo maior. Ao ensinar uma versão menor a imitar as respostas do modelo maior, conseguimos criar um modelo que precisa de menos recursos, mas ainda é eficaz.

2. Quantização: Essa técnica reduz a precisão dos números do modelo, fazendo com que ocupem menos memória. Por exemplo, em vez de usar números de 32 bits, podemos mudar para 8 bits, o que pode reduzir significativamente o uso de memória sem perder muita qualidade.

3. Poda: Esse método envolve remover partes do modelo que são menos importantes. Ao cortar camadas ou parâmetros desnecessários, conseguimos fazer o modelo rodar mais rápido e usar menos memória.

#Nossa Abordagem

Na nossa pesquisa, combinamos essas três técnicas para criar a xCOMET-lite, uma versão menor e mais rápida da xCOMET. O objetivo era manter o máximo de qualidade original possível, enquanto tornávamos mais acessível.

Destilação nos permitiu criar um modelo menor que ainda alcançava 92,1% da qualidade da xCOMET-XXL, mas com apenas 2,6% do tamanho original em parâmetros. Essa foi uma descoberta significativa, pois indicava que poderíamos ter um modelo compacto que ainda performava bem.

Quantização provou ser uma ferramenta valiosa. Descobrimos que podíamos reduzir o tamanho da xCOMET em até três vezes por meio da quantização sem sacrificar a qualidade. Isso fez o modelo rodar mais rápido e de forma mais eficiente.

Poda foi outra área em que nos concentramos. Ao remover cuidadosamente 25% das camadas do modelo, descobrimos que poderíamos melhorar sua velocidade, afetando apenas um pouco a qualidade geral. No entanto, a poda excessiva levou a uma queda notável no desempenho.

#Os Resultados

Para avaliar o desempenho do nosso modelo xCOMET-lite, realizamos experimentos extensivos comparando seu desempenho a métricas existentes como COMET-22 e BLEURT-20. Apesar de ter significativamente menos parâmetros, a xCOMET-lite superou esses modelos menores com base no conjunto de dados do desafio de métricas WMT22.

Por exemplo, a xCOMET-lite foi capaz de manter uma alta correlação com os julgamentos humanos, que é uma medida crucial de qualidade nas métricas de tradução automática. Conseguimos alcançar um equilíbrio entre velocidade de processamento e qualidade, o que significa que pesquisadores com recursos limitados poderiam usar nossa métrica de forma eficaz.

#Importância de Métricas de Avaliação Eficientes

O desenvolvimento de métricas eficientes como a xCOMET-lite não é apenas sobre facilitar a vida dos pesquisadores. É também sobre ampliar o acesso. Muitos pesquisadores, estudantes e startups podem não ter os fundos ou hardware para trabalhar com modelos expansivos. Ao criar uma versão mais acessível, capacitamos um público mais amplo a se envolver com a avaliação de tradução automática.

Além disso, usar menos energia e ocupar menos espaço na memória é benéfico do ponto de vista ambiental. Reduzir os recursos computacionais necessários para tarefas de tradução automática pode contribuir para práticas mais sustentáveis na tecnologia.

#Recomendações para Uso

Com base em nossas descobertas, sugerimos abordagens específicas dependendo dos recursos disponíveis e da qualidade exigida:

• Para a melhor qualidade com menores necessidades de VRAM, opte pela quantização de 8 bits ou 3 bits.
• Para acelerar o processamento mantendo uma qualidade aceitável, considere testar a quantização de 4 bits com QLoRA ou podar camadas.
• Se recursos computacionais são uma preocupação maior, o modelo destilado xCOMET-lite é uma excelente escolha, com mínimas perdas de qualidade.

Escolher o método certo depende do hardware que você tem, de quanta dados você está lidando e do nível de qualidade que você consegue aceitar.

#Limitações e Futuras Pesquisas

Enquanto nossa pesquisa avança na melhoria da eficiência das métricas de avaliação de tradução automática, ainda há limitações a serem observadas. Por exemplo, nos concentramos principalmente em tradução automática e não exploramos outras tarefas como sumarização. As técnicas que desenvolvemos podem não funcionar tão bem em diferentes tipos de tarefas de processamento de linguagem natural.

Além disso, os métodos que utilizamos ainda requerem a presença do modelo professor original, que pode ser caro. Pesquisas futuras poderiam olhar para adaptar nossos métodos para línguas de baixo recurso ou outros tipos de métricas de avaliação.

#Conclusão

Resumindo, criar alternativas eficientes para métricas em larga escala como a xCOMET é necessário para expandir o acesso e a usabilidade nas avaliações de tradução automática. Nosso trabalho em desenvolver a xCOMET-lite mostra como a destilação, quantização e poda podem ser combinadas efetivamente para criar um modelo menor, mas poderoso. À medida que a tecnologia de tradução automática continua a evoluir, a importância de métricas de avaliação eficientes e acessíveis só aumentará, ajudando a impulsionar o campo para frente.