Melhorando o Treinamento de Modelos de Linguagem com o Método de Mudança Mínima

Treinar grandes modelos de linguagem (LLMs) pode ser bem complicado, principalmente quando tentamos deixá-los melhores em tarefas específicas com dados limitados. O overfitting pode rolar quando o modelo aprende com exemplos demais, fazendo com que ele esqueça o que sabia no começo. Isso pode fazer as habilidades dele despencarem. A gente analisou como o estilo das respostas corretas durante o treinamento afeta o aprendizado do modelo. Descobrimos que, se o estilo do que tá sendo ensinado combina com a maneira de responder do modelo, ele aprende melhor. Com base nessa descoberta, criamos um novo método que faz apenas pequenas mudanças nas respostas já existentes do modelo para corrigir erros, usando essas respostas ajustadas para o treinamento. Esse método ajuda a manter as habilidades principais do modelo intactas e evita o risco de overfitting. Nossos resultados mostraram que essa abordagem melhora a precisão em tarefas específicas enquanto mantém as habilidades originais do modelo.

#Exemplo de Dados de Mínima Mudança

No nosso estudo, medimos o desempenho do modelo em 100 amostras de treinamento em quatro conjuntos de dados diferentes: GSM8K, MATH Algebra, MATH Contagem e Probabilidade, e HumanEval. Comparamos os resultados de diferentes maneiras de construir os Dados de Treinamento: Mínima Mudança, GPT-4, Verdade de Solo, Amostra 10 e Paráfrase. Cada método teve resultados diferentes, mostrando como a construção de dados é importante para o desempenho.

#Desafios com o Desempenho dos LLMs

Apesar dos resultados incríveis que os LLMs alcançaram em várias áreas, eles nem sempre têm um bom desempenho de forma universal. Modelos com 3 a 20 bilhões de parâmetros muitas vezes precisam de fine-tuning para ficarem melhores em tarefas específicas. O fine-tuning com conjuntos pequenos de dados de treinamento é uma tarefa valiosa, mas difícil, pois permite que os LLMs se adaptem a necessidades específicas enquanto têm dados limitados disponíveis. O desafio é que os LLMs aprendem de maneiras sutis. Nossa pesquisa descobriu que o estilo das respostas - como o modelo interpreta as instruções e gera as respostas - desempenha um papel importante em quão bem ele aprende.

Os LLMs podem produzir várias respostas corretas com variações na redação, formato e ordem. Isso levanta questões sobre como essas diferenças estilísticas afetam os resultados do aprendizado e quais respostas ajudam o modelo a aprender melhor.

Para enfrentar essas perguntas, realizamos várias experiências comparando métodos diferentes de gerar respostas. Isso incluiu respostas fornecidas por humanos, aquelas geradas pelo GPT-4, respostas paráfraseadas, dados com mudanças mínimas e as próprias respostas corrigidas do modelo após tentativas. Descobrimos que o estilo das respostas impacta muito os resultados de aprendizado. Em particular, notamos uma ligação entre quão confusa uma resposta é, medida pelo modelo, e seu desempenho; respostas menos confusas tendem a levar a um desempenho melhor.

#Abordagem de Treinamento Nova

Inspirados por nossas descobertas, propusemos uma nova abordagem de treinamento chamada "método de mudança mínima". Esse método começa com o modelo fazendo um palpite inicial, que é então corrigido minimamente pelo GPT-4 para consertar quaisquer erros. Ao emparelhar essas pequenas correções com o palpite original, formamos um novo conjunto de dados de treinamento que mantém muito do estilo original intacto. Isso reduz a necessidade de o modelo aprender uma nova maneira totalmente diferente de responder, o que ajuda a melhorar a generalização entre tarefas e acelera o processo de aprendizado.

#Principais Contribuições

Em resumo, nossa pesquisa traz três principais contribuições:

1. Mostramos que diferenças no estilo da linguagem entre os dados de treinamento e as preferências do modelo podem afetar a qualidade do aprendizado. Reduzir essas diferenças pode melhorar o aprendizado e a generalização.

2. Apresentamos um novo método "de mudança mínima" para construir dados de treinamento que produz consistentemente dados de alta qualidade com menos diferenças de estilo, levando a um aprendizado melhor.

Nosso estudo investiga a relação entre o estilo da resposta e a eficácia do treinamento, oferecendo uma nova maneira de melhorar o desempenho dos LLMs em diferentes tarefas.

#Trabalhos Relacionados

Nosso trabalho se conecta a várias áreas importantes em processamento de linguagem natural e aprendizado de máquina.

#Métodos de Alinhamento

Vários métodos, como Proximal Policy Optimization (PPO), Reward Learning from Human Feedback (RLHF) e Direct Preference Optimization (DPO), focam em manter o conhecimento principal do modelo enquanto garantem que suas saídas se alinhem com o que os humanos preferem. Em vez de depender muito dos dados, esses métodos de alinhamento visam ajustar as respostas do modelo com um retrain mínimo. Isso é eficiente, pois requer menos dados e ajuda a evitar que o modelo esqueça o que aprendeu originalmente.

Alguns estudos utilizam as próprias previsões do modelo para autotreinamento. Por exemplo, STAR e REST geram conjuntos de dados a partir das saídas dos LLMs e usam isso para melhorar seu desempenho ao longo do tempo. RESTem usa previsões iniciais, filtra por precisão e re-treina o modelo com as respostas corretas, melhorando a precisão através de ciclos repetidos.

#Destilação de Conhecimento

A destilação de conhecimento é outro conceito importante que envolve um modelo menor aprendendo a partir de um modelo maior e pré-treinado. Vários estudos analisaram como grandes modelos de linguagem podem ajudar a treinar modelos menores. Usar previsões iniciais do modelo e corrigi-las com o GPT-4 é uma nova técnica que ajuda o modelo a se autocompletar enquanto melhora o desempenho quando combinado com dados de verdade de solo. No entanto, nossos testes mostraram que esse método não preserva os estilos de texto originais nas correções.

#O Papel do Estilo de Resposta

Criamos conjuntos de dados diversos usando diferentes métodos de construção de dados, notando variações significativas de desempenho durante o treinamento. Por exemplo, conjuntos de dados construídos com dados de verdade de solo fornecidos por humanos têm um desempenho ruim em tarefas de matemática com 100 amostras, mas se saem melhor em tarefas de codificação. Por outro lado, conjuntos de dados gerados pelo GPT-4 se destacam em tarefas de GSM8K e Matemática Álgebra, mas têm dificuldades em tarefas mais complexas, como Contagem e Probabilidade. Treinar em um conjunto de dados do GPT-4 com uma Perplexidade abaixo de 3 para GSM8K geralmente resulta em desempenho entre tarefas igual ou melhor que o desempenho zero-shot. No entanto, uma perplexidade acima de 3 leva a uma queda notável.

O método de Mínima Mudança alcança consistentemente resultados fortes, tanto dentro da tarefa quanto entre diferentes tarefas. Essa correlação com a perplexidade sugere que o GPT-4 tem um bom desempenho com conjuntos de dados de baixa perplexidade e luta com aqueles que têm alta perplexidade. Conjuntos de dados criados através de Mínima Mudança exibem consistentemente baixa perplexidade, o que explica o desempenho robusto em várias tarefas, mesmo quando outros métodos falham.

#Métodos de Construção de Dados

Usamos cinco métodos distintos para construir conjuntos de dados de treinamento, cada um com o objetivo de explorar diferentes aspectos do treinamento e avaliação do modelo.

1. Método de Verdade de Solo: Esse método usa conjuntos de treinamento originais como base, mas tem alta perplexidade devido aos estilos variados de diferentes anotadores humanos.

2. Método de Mínima Mudança: Este envolve gerar previsões do modelo e, em seguida, fazer ajustes mínimos nelas. Isso mantém os dados de treinamento alinhados com a lógica e o estilo do modelo, resultando em menor perplexidade.

3. Método de Geração GPT-4: Essa abordagem usa o GPT-4 para gerar respostas de forma autônoma, levando a dados de treinamento que muitas vezes se assemelham ao treinamento do modelo, o que resulta em menor perplexidade.

4. Método de Amostragem Mix: Esse método amostra aleatoriamente 10 respostas para uma pergunta e seleciona as mais precisas. Isso mistura dados gerados de baixa perplexidade com verdade de solo de alta perplexidade.

5. Método de Paráfrase: Esse método envolve paráfrasear respostas sem mudar sua lógica. Embora isso introduza diferentes estilos, também aumenta a perplexidade.

Através desses métodos, buscamos analisar como a maneira como os dados de treinamento são construídos influencia o desempenho do modelo, particularmente em termos de precisão e generalização.

#Método de Mínima Mudança em Detalhe

Nas seções anteriores, notamos uma ligação entre quão bem um modelo aprende, o problema do esquecimento e o estilo de linguagem. Para confirmar nossa hipótese, construímos conjuntos de dados usando o método de Mínima Mudança, que se alinha de perto com o estilo preferido do modelo. Isso envolve três etapas principais: Primeiro, o modelo gera uma previsão inicial. Em segundo lugar, o GPT-4 faz pequenas correções nessa previsão. Por último, usamos essas previsões corrigidas para o treinamento.

A parte chave desse processo é garantir que o GPT-4 faça apenas mudanças mínimas. Fazendo isso, conseguimos manter o estilo original do modelo em grande parte intacto. Para orientar o GPT-4 de forma eficaz, fornecemos alguns exemplos do processo de mudança mínima e delineamos nossos requisitos.

Descobrimos que treinar em múltiplas épocas com pequenos conjuntos de dados resulta em melhor desempenho. À medida que o tamanho dos dados varia, também analisamos o desempenho em um conjunto de dados maior de 7473 para GSM8K. Criamos gráficos de validação para mostrar melhor o desempenho do modelo em diferentes épocas. Nosso objetivo é mostrar que treinar com textos familiares leva a melhores resultados sem necessariamente tentar superar benchmarks de ponta.

#Detalhes da Implementação

Todos os experimentos foram realizados usando o modelo LLaMA2-13B-chat, com treinamento e inferência feitos usando precisão de 16 bits. Nós treinamos o modelo usando LoRA com classificações de 8 ou 2 em uma única GPU A100. Cada experimento foi executado com o número de semente definido como 0. As taxas de aprendizado variaram dependendo do tamanho do conjunto de treinamento, enquanto o tamanho do lote foi mantido em 10.

#Visão Geral dos Conjuntos de Dados

1. GSM8K: Esse conjunto de dados contém problemas matemáticos frequentemente encontrados na escola, com 7.473 exemplos de treinamento e 1.319 exemplos de teste.

2. Conjunto de Dados MATH: Esse conjunto apresenta uma ampla gama de problemas matemáticos em tópicos como álgebra e probabilidade. Para nosso estudo, focamos em níveis de dificuldade mais simples, resultando em 380 exemplos de treinamento para álgebra e 132 para contagem.

3. HumanEval: Esse conjunto de dados foi projetado para avaliar modelos de geração de código, com 164 exemplos. Dada sua dimensão, usamos uma validação cruzada de três dobras para garantir avaliações robustas.

Comparamos o desempenho dos modelos em diferentes classificações e condições de treinamento, com atenção específica à perplexidade dos conjuntos de dados. Desempenhos em domínio foram destacados, indicando onde o modelo treinou melhor.

#Principais Descobertas sobre Desempenho

Treinar em conjuntos de dados de Mínima Mudança beneficia bastante tanto o desempenho dentro do domínio quanto o desempenho entre domínios. Embora outros métodos possam melhorar o desempenho dentro do domínio em alguns conjuntos de dados, eles geralmente sofrem em situações de cross-domain. Isso indica a importância de alinhar os dados de treinamento com o que o modelo já sabe.

Curiosamente, modelos treinados em conjuntos de dados de HumanEval gerados pelo GPT-4 mostraram desempenho mais baixo, apesar da perplexidade comparável aos conjuntos de dados de matemática. Isso sugere que ter uma familiaridade mais profunda com a lógica dos problemas é crucial para o sucesso em tarefas complexas.

#Analisando Conjuntos de Dados Maiores

Para investigar ainda mais os efeitos do tamanho do conjunto de dados, testamos modelos com tamanhos de treinamento aumentados de 200 e 300 para GSM8K e 200 e 380 para MATH Álgebra. Notamos que, à medida que os tamanhos dos conjuntos de dados cresciam, os modelos treinados em conjuntos de dados do GPT-4 às vezes começaram a ter desempenho melhor que aqueles treinados em conjuntos de dados de Mínima Mudança, especialmente para tarefas de GSM8K.

Ao expandir os tamanhos dos conjuntos de dados, observamos que modelos treinados em conjuntos de dados do GPT-4 podem ganhar desempenho dentro do domínio, mas geralmente às custas das capacidades entre tarefas. Isso destaca o equilíbrio intrincado entre ter dados de alta qualidade e manter a capacidade de adaptação em diferentes tarefas.

#Comparações Finais e Conclusões

Na nossa análise final, comparamos o desempenho de modelos treinados em conjuntos de dados de Mínima Mudança com aqueles treinados em conjuntos de dados de Verdade de Solo. Inicialmente, o conjunto de dados de Mínima Mudança mostrou uma melhoria rápida, mas à medida que o treinamento progrediu, seu desempenho começou a se estabilizar. Em contraste, os dados de Verdade de Solo mantiveram maior qualidade e adaptação ao domínio alvo, embora com alguma perda de desempenho entre tarefas.

Através de nossos experimentos, descobrimos que a familiaridade com o estilo do rótulo alvo é um fator crítico que impacta quão efetivamente o modelo aprende. Ao minimizar as discrepâncias de estilo, conseguimos acelerar o aprendizado, reduzir o esquecimento e melhorar as habilidades em cenários entre tarefas.

Reconhecemos que o método de Mínima Mudança ainda tem espaço para melhorias. Trabalhos futuros podem explorar como a amostragem poderia aprimorar a qualidade da previsão e como gerar conjuntos de dados que sejam tanto alinhados com os estilos do modelo quanto logicamente consistentes.

#Limitações do Método de Mínima Mudança

Existem limitações no método de Mínima Mudança que vale a pena mencionar. Primeiro, para que essa abordagem funcione bem, o GPT-4 deve ter habilidades de raciocínio suficientes para lidar com os problemas. Se os problemas forem muito complexos para o GPT-4, então as correções podem não ser precisas. Em segundo lugar, esse método funciona melhor para tarefas onde um segmento textual é necessário na resposta final. Para tarefas mais simples que precisam apenas de uma resposta direta, usar rótulos corretos pode ser mais eficaz.

Para concluir, enfatizamos que nossa abordagem atual de Mínima Mudança é apenas uma forma básica do que poderia ser feito. Existem vários aspectos que vale a pena explorar mais, como como melhorar as habilidades de raciocínio do GPT-4 durante as correções ou como construir conjuntos de dados que fortaleçam a coerência lógica enquanto se encaixam nas preferências internas do modelo.

Ao avaliar o desempenho do modelo usando métricas de precisão, desenvolvemos scripts para verificar a correção. Para tarefas de codificação, usamos scripts padrão para garantir uma avaliação consistente. Ajustes foram feitos nos rótulos de treinamento conforme necessário para ajudar a agilizar o processo de avaliação.

Através de um design cuidadoso dos prompts, garantimos que o modelo posicione as respostas finais claramente, aprimorando a precisão de suas saídas. Embora o desempenho zero-shot ainda apresente desafios, nossa abordagem estruturada levou a melhorias na precisão durante nossas avaliações.

#Conclusão

Em resumo, cada método de construção de dados de treinamento tem vantagens e desvantagens únicas para certas tarefas. Nossas descobertas destacam a importância de alinhar os estilos de treinamento com as preferências internas do modelo para um aprendizado melhor. Acreditamos que este trabalho sobre Mínima Mudança serve como uma base para futuras pesquisas em métodos de construção de dados de treinamento, fornecendo insights para melhorar o treinamento de modelos de linguagem em várias tarefas.