Mesclagem de Modelos: Um Novo Caminho para Línguas de Baixos Recursos

Modelos de linguagem grandes (LLMs) mostraram ter ótimas habilidades em várias tarefas, graças à quantidade enorme de dados de treinamento bons que usam. Mas, construir modelos que consigam lidar com tarefas em línguas de poucos recursos ainda é complicado porque não tem dados suficientes. Uma maneira comum de criar modelos para essas línguas é treinar primeiro com os textos disponíveis e depois ajustar com dados supervisionados. Infelizmente, esse método enfrenta dificuldades quando há muito pouco dado disponível para a língua alvo.

Para resolver esse problema, sugerimos usar a fusão de modelos. A fusão de modelos é uma forma de combinar diferentes modelos com habilidades únicas em um só, sem precisar de mais treinamento. Usando essa técnica, dá pra criar modelos que resolvem tarefas em línguas de poucos recursos, mesmo quando não tem dados de ajuste supervisionado nesses idiomas.

#O Desafio das Línguas de Poucos Recursos

Línguas de poucos recursos são aquelas que não têm dados suficientes para um treinamento de modelo eficaz. Essa falta de dados dificulta ensinar os modelos a entender e realizar tarefas nessas línguas. Normalmente, o processo começa com um Pré-treinamento contínuo (CT) em textos disponíveis na língua alvo. Depois disso, aplica-se a afinação supervisionada (SFT) para melhorar as habilidades de resolução de tarefas. Mas quando os dados são limitados, esse processo muitas vezes resulta em resultados ruins.

A abordagem usual envolve usar dados em inglês para ajudar a treinar modelos para línguas de poucos recursos. No entanto, isso pode fazer com que os modelos esqueçam as habilidades linguísticas que aprenderam durante a fase de pré-treinamento. Com isso, eles podem ter dificuldade em realizar tarefas porque suas habilidades linguísticas diminuíram.

#O Conceito de Fusão de Modelos

A fusão de modelos busca combinar as forças de diferentes modelos em um só. Isso permite criar um novo modelo que pode entender a língua e resolver tarefas, sem precisar de novos dados de treinamento. Neste estudo, focamos em saber se a fusão de modelos poderia ajudar a criar modelos para resolver tarefas em línguas de poucos recursos.

Nos concentramos no Llama-2-7B, um LLM treinado principalmente com dados em inglês, e testamos seu desempenho em sete línguas de poucos recursos diferentes. Começamos pré-treinando o Llama-2-7B em textos de cada língua alvo. Depois, examinamos duas maneiras de adicionar capacidades de resolução de tarefas a esse modelo pré-treinado: uma usou dados SFT em inglês, enquanto a outra o fundiu com um modelo de resolução de tarefas em inglês.

#Importância da Fusão de Modelos em Línguas de Poucos Recursos

Nos nossos experimentos, descobrimos que a fusão de modelos trouxe resultados melhores que a abordagem tradicional CT-then-SFT, especialmente quando os dados na língua alvo eram extremamente limitados. Quando havia menos de 10 bilhões de tokens no corpus de pré-treinamento, a fusão de modelos mostrou ser particularmente eficaz.

Porém, também percebemos que à medida que mais dados eram adicionados, os ganhos de desempenho da fusão começaram a estabilizar. Isso indicou que ter um corpus de pré-treinamento maior reduziu as vantagens da fusão.

Para resolver esse problema, exploramos o processo de fusão mais a fundo e apresentamos uma nova estratégia para manter parâmetros mais importantes dos modelos durante esse processo. Esse novo método ajudou a melhorar o desempenho durante os experimentos.

#Configuração Experimental

No nosso estudo, escolhemos sete línguas de poucos recursos de cinco famílias linguísticas diferentes. Essas línguas incluem Tamil, Telugu, Odia, Bengali, Tibetano, Uyghur e Mongol. Focamos nessas línguas porque têm muitos falantes no mundo, mas muitas vezes são sub-representadas nos LLMs atuais.

Para nossos experimentos, usamos os maiores conjuntos de dados disponíveis para pré-treinar continuamente o modelo Llama-2-7B. Selecionamos cuidadosamente os corpora de pré-treinamento com base na disponibilidade de textos em cada língua. Após a fase de pré-treinamento, exploramos a eficácia da fusão de modelos realizando vários testes.

#Resultados de Desempenho da Fusão de Modelos

Os resultados indicaram que a fusão de modelos superou o paradigma CT-then-SFT na maioria das línguas estudadas, exceto pelo Bengali, que tinha o maior conjunto de dados de pré-treinamento. Para outras línguas, especialmente aquelas com recursos limitados, a fusão permitiu que os modelos mantivessem uma melhor compreensão da língua enquanto incorporavam habilidades de resolução de tarefas.

Por exemplo, os modelos que usaram a abordagem de fusão TIES tiveram um sucesso notável em várias tarefas. Os resultados mostraram uma melhoria significativa em comparação com aqueles construídos usando o método CT-then-SFT. Esse resultado demonstrou a eficácia da fusão de modelos como uma estratégia para desenvolver habilidades de resolução de tarefas em línguas com poucos recursos.

#Analisando o Platô de Desempenho na Fusão de Modelos

Embora a fusão de modelos geralmente levasse a um desempenho melhor, notamos que o Bengali era uma exceção. Isso poderia estar ligado ao maior conjunto de dados usado para o pré-treinamento. Descobrimos que à medida que adicionávamos mais tokens para o pré-treinamento contínuo, o aumento de desempenho devido à fusão de modelos começou a diminuir.

Essa descoberta levantou questões sobre quais fatores afetam a capacidade dos LLMs de ganhar habilidades de resolução de tarefas através da fusão de modelos. Para explorar isso, analisamos o processo de fusão em detalhes e descobrimos que a escolha dos parâmetros a serem fundidos desempenhou um papel crucial. À medida que o pré-treinamento contínuo aumentava, mais parâmetros do modelo de tarefas eram descartados durante a fusão, resultando em uma queda nas capacidades de resolução de tarefas.

#Introdução de Variáveis Slack na Fusão de Modelos

Para melhorar os resultados da fusão, introduzimos uma versão modificada do método TIES chamada TIES-SV, que incluía variáveis slack. Essa abordagem visava reduzir o número de parâmetros descartados durante o processo de fusão de modelos. Mantendo mais parâmetros importantes do modelo SFT, conseguimos um desempenho melhor nas tarefas.

Os testes mostraram que o TIES-SV superou o método TIES original em várias tarefas. Esse ajuste simples provou ser eficaz em preservar informações cruciais durante a fusão de modelos, levando a um desempenho melhorado.

#Fusão de Várias Línguas de Poucos Recursos

Também exploramos a possibilidade de fundir várias línguas em um único modelo de resolução de tarefas. Ao fundir LLMs adaptados a diferentes línguas de poucos recursos com um modelo SFT comum, pretendemos criar um LLM multilíngue para resolver tarefas. Nossos resultados preliminares mostraram potencial, já que o modelo fundido suportou tarefas em Mongol e Uyghur sem precisar de treinamento separado para cada língua.

Essa descoberta sugere que a fusão de modelos tem grande potencial para ajudar falantes de várias línguas sub-representadas. Ao utilizar modelos existentes em diferentes línguas, podemos evitar o processo caro de pré-treinamento e criar modelos multilíngues mais eficientes.

#Limitações de Dados Traduzidos por Máquina

Embora a tradução automática (MT) ofereça uma maneira de gerar dados de treinamento supervisionado, nossos achados revelaram que muitas vezes ela falha em cenários de línguas de poucos recursos. Modelos treinados com dados traduzidos por MT tiveram um desempenho inferior àqueles que usaram dados SFT em inglês. Essa diferença ressalta os desafios causados por traduções de baixa qualidade, que podem impactar negativamente tanto as habilidades de resolução de tarefas quanto as linguísticas.

Em contraste, a fusão de modelos elimina a necessidade de dados SFT sintéticos nas línguas alvo, evitando assim as incertezas relacionadas à tradução automática. A capacidade de contar com modelos existentes melhora a eficácia do treinamento para línguas de poucos recursos.

#Conclusão

Resumindo, nosso estudo demonstrou que a fusão de modelos pode ser uma abordagem eficaz para desenvolver modelos de linguagem que resolvem tarefas em línguas de poucos recursos. Os resultados mostraram uma melhor eficiência de dados em comparação com o método tradicional CT-then-SFT. Através de análises detalhadas, entendemos como o desempenho da fusão de modelos pode estabilizar com mais dados e introduzimos métodos para aprimorar esse processo.

No final, esperamos que a fusão de modelos reduza os custos associados à construção de modelos eficazes em várias línguas, beneficiando uma gama mais ampla de idiomas. Ao aproveitar modelos já existentes, podemos oferecer uma melhor compreensão da língua e habilidades de resolução de tarefas para línguas que enfrentam escassez de dados.

#Direções Futuras

Reconhecemos a necessidade de mais pesquisas nas técnicas de fusão de modelos. Trabalhos futuros podem se concentrar em refinar o processo de fusão, especialmente em como selecionar melhor os parâmetros a serem mantidos durante a fusão. Além disso, explorar o potencial de fusão entre ainda mais línguas expandiria o alcance desses modelos e melhoraria tarefas em várias línguas. A adaptabilidade e eficiência que vêm com a fusão de modelos poderiam fazer uma diferença significativa no cenário do processamento de linguagem para línguas de poucos recursos.