O papel da memorização no desempenho do BERT

Modelos de linguagem pré-treinados como o BERT têm a capacidade de memorizar informações, o que influencia muito como eles se saem em diversas tarefas. Este artigo fala sobre uma nova medida chamada PreCog, que analisa o quanto a Memorização ajuda o BERT a se sair bem em diferentes tarefas.

O BERT é um sistema complexo que aprende a partir de uma grande quantidade de dados textuais. Depois de ser treinado, o BERT consegue lidar com várias tarefas de linguagem mesmo com um número limitado de dados rotulados. Ele se sai bem em exemplos novos que nunca viu antes. Muitos estudos mostraram que o BERT muitas vezes imita modelos tradicionais de compreensão de linguagem. Isso levanta a questão de por que esses modelos modernos parecem aprender melhor com seu treinamento do que métodos mais antigos que dependem de dados rotulados.

Entender como o BERT aprende pode nos ajudar a obter melhores resultados em tarefas onde ele parece ter dificuldades. Ao contrário de modelos antigos que trabalham diretamente com dados rotulados, o BERT precisa ser ajustado para tarefas específicas. Se ele for ajustado depois para uma tarefa diferente, pode esquecer como fazer a tarefa original, um problema conhecido como "Esquecimento Catastrófico".

Apesar da sua incrível capacidade de armazenar informações, o BERT pode, às vezes, revelar dados sensíveis que aprendeu durante o treinamento. Por exemplo, ele pode gerar acidentalmente informações privadas como números de telefone. No entanto, essa capacidade de memorizar também pode ser benéfica para o desempenho em várias tarefas.

Este artigo apresenta um estudo focado sobre como a memorização impacta o desempenho do BERT. Apresentamos o PreCog, uma forma simples de medir quanto do pré-treinamento cobre as informações necessárias para um exemplo específico. O objetivo é ver se o PreCog consegue prever quais exemplos o BERT lidará melhor em diferentes tarefas. Fizemos testes com o BERT no conjunto de tarefas GLUE e descobrimos que o PreCog podia prever efetivamente quais exemplos levariam a um melhor desempenho do BERT. Parece que a memorização desempenha um papel crítico no sucesso do BERT.

#Pesquisa Relacionada

É bem sabido que os modelos de linguagem podem memorizar fatos. Essa capacidade de memorização levanta preocupações sobre privacidade, já que esses modelos conseguem relembrar informações pessoais durante o uso. Trabalhos anteriores sugeriram que grandes modelos de linguagem poderiam também servir como maneiras baratas de montar bases de conhecimento. Em outros campos, como a classificação de imagens, grandes redes conseguem armazenar conjuntos de dados inteiros, resultando em erros muito baixos em conjuntos de dados com rótulos aleatórios. Ainda assim, não está claro como essa capacidade de memorização ajuda os modelos a obter um bom desempenho em tarefas específicas.

Uma questão chave nesse campo é como grandes modelos de linguagem pré-treinados generalizam a partir de dados memorizados. A fase de pré-treinamento parece melhorar a habilidade deles de aprender com novos exemplos. Modelos que passaram pelo pré-treinamento entendem dados que não encontraram antes muito melhor do que aqueles que não passaram. No entanto, o ajuste eficaz em conjuntos de dados específicos requer muitos exemplos, e problemas como o esquecimento catastrófico podem comprometer a memorização e a generalização.

Para investigar a relação entre memorização e desempenho em tarefas, propomos um método para analisar quanto as frases vistas durante o pré-treinamento cobrem os exemplos no teste. Usamos técnicas que mostram como o pré-treinamento afeta o desempenho em tarefas posteriores. Essa abordagem é necessária porque as medidas existentes de cobertura podem misturar os aspectos de desempenho e a memorização real.

#Método e Dados

Nesta seção, detalhamos o PreCog e como ele mede a extensão em que o pré-treinamento cobre as informações conhecidas sobre um exemplo dado. Também descrevemos duas outras medidas comparativas e o setup experimental.

O BERT é pré-treinado em um número enorme de tokens textuais usando um método chamado Modelagem de Linguagem Mascarada (MLM). Durante esse treinamento, o BERT seleciona aleatoriamente e esconde 15% dos tokens em um texto dado. Esses tokens ocultos podem ser substituídos por um token especial, um aleatório ou deixados inalterados. Através desse processo, o BERT aprende a prever quais seriam esses tokens ocultos.

Para avaliar o quanto uma sequência de tokens é coberta pelo pré-treinamento, utilizamos a capacidade do BERT de desmascarar tokens ocultos. Se o BERT consegue prever os tokens escondidos em uma frase dada, é bem provável que ele tenha conhecimento relevante para lidar com essa frase de forma eficaz. Nosso método avalia quão familiar o BERT está com as frases verificando quão bem ele consegue prever os tokens mascarados.

Definimos uma função para medir essa familiaridade. Inicialmente, escondemos cada token em uma frase um por um para criar diferentes sequências. Nossa medida é então definida de forma simples com base nos tokens que o BERT prevê e se eles correspondem aos tokens originais.

#Medidas Alternativas

Para comparar o PreCog com outras duas medidas-Comprimento e LexCov-nosso objetivo é ver como elas se correlacionam com a precisão do BERT nas tarefas. Comprimento mede como a precisão se relaciona com o comprimento das amostras, enquanto LexCov mede quantas palavras do exemplo estão dentro do vocabulário do BERT.

#Setup Experimental

Para avaliar nossas medidas, usamos o benchmark GLUE, que inclui várias tarefas de linguagem, como inferência de linguagem natural, similaridade semântica, classificação de sentimentos e aceitabilidade linguística. Cada tarefa avalia diferentes aspectos da compreensão da linguagem.

Fizemos experimentos com duas versões do BERT: uma com ajuste fino tradicional e outra com adaptação de domínio. O processo de ajuste fino seguiu métodos estabelecidos, otimizando o desempenho para cada tarefa usando parâmetros específicos.

Conduzimos nossos testes em GPUs da NVIDIA e utilizamos bibliotecas populares de aprendizado de máquina para implementar os modelos. Para analisar como o desempenho se correlaciona com nossas medidas, segmentamos os exemplos de teste em bins com base nos valores das medidas e graficamos a precisão do BERT correspondente a esses bins.

#Resultados e Discussão

Nossos resultados indicam que os níveis de precisão variam de acordo com nossas medidas. O PreCog demonstra uma correlação mais forte com o desempenho do BERT do que tanto o Comprimento quanto o LexCov. As precisões baseadas no PreCog caíram de forma mais consistente do que as outras medidas. O coeficiente de correlação de Pearson para o PreCog atingiu um alto valor, mostrando uma ligação clara entre memorização e desempenho em tarefas.

Embora o LexCov possa parecer inicialmente promissor para diferenciar entre amostras de alta e baixa precisão, ele no final mostra menos exemplos com valores baixos. Em contraste, o PreCog separa efetivamente os exemplos em bins mais precisos. Em uma base de tarefa por tarefa, o PreCog provou ser um melhor preditor de sucesso e um separador mais preciso de amostras dentro de grupos de precisão.

Os resultados foram consistentes em diferentes tarefas, com o PreCog superando as outras medidas. Mesmo ao aplicar adaptação de domínio, as descobertas gerais permaneceram as mesmas, apontando para um aumento geral na precisão das tarefas para exemplos que caem dentro de intervalos específicos de medidas.

O BERT parece se sair melhor com frases que ele já encontrou parcialmente durante o treinamento. O PreCog reflete quão bem o Modelo de Linguagem Mascarada cobriu as frases. Isso sugere que o BERT é mais eficaz quando já tem conhecimento prévio sobre a frase-alvo. Em contraste, o LexCov apenas indica quantas palavras são reconhecidas pelo BERT. A diferença clara de desempenho entre essas duas medidas nos leva a concluir que a memorização aumenta significativamente a eficácia do BERT.

Memorizar exemplos do pré-treinamento é claramente importante para o sucesso do BERT em tarefas. O PreCog serve como uma métrica útil que acompanha quanto o conhecimento prévio ajuda o BERT a fazer previsões precisas. À medida que o BERT depende da memorização de exemplos de treinamento, surgem questões éticas sobre dar o devido crédito àqueles que contribuem para os conjuntos de dados em que os modelos de aprendizado de máquina são treinados.

Esta pesquisa destaca a necessidade de reconhecer os produtores de conhecimento no campo do aprendizado de máquina. Com o aumento de ferramentas como o ChatGPT, torna-se ainda mais vital reconhecer o papel do conhecimento prévio nos sucessos desses modelos. Pesquisas futuras mais aprofundadas são necessárias para explorar diferentes modelos pré-treinados e avaliar até que ponto os exemplos de tarefas são cobertos por dados de treinamento.

#Conclusão

Este artigo focou na relação entre memorização e desempenho em modelos de linguagem pré-treinados, particularmente o BERT. Embora tenhamos fornecido algumas percepções, várias perguntas permanecem sem resposta, convidando a uma exploração mais profunda neste campo. Nossas descobertas servem como um ponto de partida para entender melhor como os modelos de linguagem aprendem e retêm informações, preparando o terreno para futuros estudos em aprendizado de máquina.