Melhorando a Aprendizagem de Tarefas em Modelos de Linguagem Grandes

Modelos de linguagem grandes (LLMs) são programas de computador que conseguem entender e gerar linguagem humana. Esses modelos conseguem realizar várias tarefas aprendendo com Exemplos que são dados a eles, o que chamamos de aprendizado em contexto (ICL). O ICL permite que os LLMs façam previsões ou realizem tarefas olhando para alguns exemplos fornecidos junto com a entrada. No entanto, tem um desafio que aparece durante esse processo, que chamamos de "Atalho de Demonstração".

#O que é o Atalho de Demonstração?

O Atalho de Demonstração acontece quando os LLMs dependem mais do conhecimento anterior que têm sobre linguagem e significado em vez de aprender com os exemplos apresentados em tempo real. Isso significa que mesmo que o modelo receba novos pares de entrada-rótulo, ele pode ainda depender de experiências passadas ou significados que já tem armazenados. Essa dependência pode limitar sua capacidade de se adaptar a novas tarefas.

Para resolver esse problema, nossa pesquisa foca em desenvolver um método que chamamos de Calibração em Contexto. Essa abordagem visa ajudar os LLMs a aprender melhor com os exemplos que recebem, em vez de se apegar ao conhecimento pré-treinado.

#Importância do Aprendizado de Tarefas

O aprendizado de tarefas se refere à capacidade do modelo de aprender novas relações entre entradas e rótulos com base nos exemplos fornecidos. Por exemplo, se o modelo é mostrado várias frases rotuladas como positivas ou negativas, ele deve ser capaz de entender as conexões subjacentes sem precisar de atualizações em seus parâmetros internos.

No entanto, se o modelo continua a se apoiar no conhecimento anterior ou nos significados, ele tem dificuldade em aprender de forma eficaz. Esse desafio é mais pronunciado em modelos menores, que podem achar mais difícil ignorar o conhecimento prévio. Portanto, é crucial criar métodos que ajudem todos os tamanhos de modelos a aprender melhor novas tarefas a partir de exemplos.

#Abordagens Anteriores

No passado, foram feitos esforços para melhorar as previsões de ICL usando técnicas como tokens sem conteúdo ou o conjunto de testes inteiro para ajudar nas previsões. No entanto, muitas dessas abordagens não levaram em conta a dependência dos modelos em seu conhecimento anterior dos exemplos. Elas visavam principalmente melhorar o desempenho em tarefas predefinidas, em vez de permitir que o modelo aprendesse novas associações.

Nossa pesquisa adota uma abordagem diferente, analisando especificamente como o conhecimento pré-treinado do modelo afeta sua capacidade de aprender com os exemplos.

#Apresentando a Calibração em Contexto

A Calibração em Contexto é nosso método proposto que visa ajudar os LLMs a aprender melhor com os exemplos que recebem. Em vez de apenas aumentar as previsões com base no conhecimento anterior, esse método foca em recalibrar a abordagem do modelo para aprender com demonstrações.

A calibração funciona estimando como o modelo percebe cada demonstração e sua relação com as outras. Assim, quando o modelo encontra novas entradas, pode fazer previsões melhores com base nas demonstrações, em vez de depender de significados passados.

#Avaliando a Eficácia

Para ver como a Calibração em Contexto funciona, testamos usando diferentes tarefas e modelos:

1. Tarefa Original de ICL: Essa tarefa usa o espaço de rótulos padrão fornecido pelos conjuntos de dados.
2. Configuração de Aprendizado de Tarefas: Aqui, o espaço de rótulos é intencionalmente substituído por tokens não relacionados, forçando o modelo a aprender novas relações.

Em ambas as configurações, descobrimos que a Calibração em Contexto levou a melhorias significativas no desempenho em várias famílias de LLMs, incluindo OPT, GPT e Llama2.

#Como os LLMs Usam Demonstrações

Entender como os LLMs utilizam as demonstrações que recebem tem sido o foco de muita pesquisa. Existem duas visões opostas neste campo:

1. Alguns pesquisadores argumentam que os LLMs não aprendem novas relações a partir das demonstrações. Evidências sugerem que o desempenho de ICL só cai ligeiramente quando os rótulos são trocados por aleatórios. Isso implica que os modelos dependem de seu conhecimento pré-treinado para reconhecer semânticas nas demonstrações.

2. Outros acreditam que os LLMs podem aprender novas tarefas por meio de demonstrações, embora evidências concretas muitas vezes faltem em cenários do mundo real.

Nossa pesquisa contribui para esse debate ao fornecer evidências de que LLMs maiores conseguem aprender novas relações de entrada-rótulo a partir de demonstrações. No entanto, conforme os tamanhos dos modelos diminuem, a dependência de conhecimento prévio tende a aumentar, o que pode dificultar o aprendizado de tarefas.

#Problemas com Métodos de Calibração Anteriores

Estudos anteriores que buscavam ajustar as previsões dos LLMs muitas vezes focavam em abordar instabilidades nas previsões. Eles introduziram tokens sem conteúdo ou usaram distribuições de teste inteiras para melhorar os resultados das previsões. No entanto, esses métodos não consideraram os vieses semânticos que podem existir nas demonstrações. Eles também não mostraram se seus métodos permitiram que os modelos aprendesse novas mapeações de entrada-rótulo de forma eficaz.

Nosso trabalho destaca a necessidade de abordar especificamente a dependência dos LLMs em seu conhecimento anterior, o que é crucial para melhorar suas capacidades de aprendizado.

#O Atalho de Demonstração em Detalhe

O Atalho de Demonstração pode ser observado quando os LLMs preveem rótulos com base em seus significados pré-treinados em vez das relações reais presentes nas demonstrações. Por exemplo, em um cenário controlado, quando dados dois conjuntos diferentes de demonstrações, o LLM pode prever rótulos diferentes apenas com base na semântica dos exemplos, em vez dos significados reais por trás dos rótulos. Isso indica uma forte dependência do conhecimento semântico anterior em vez do processo de aprendizado pretendido.

#Calibração em Contexto Explicada

A Calibração em Contexto visa ajustar como os LLMs abordam o aprendizado a partir das demonstrações. O método funciona estimando a importância semântica de cada exemplo no conjunto de demonstração. Ao entender como cada exemplo se relaciona com os outros, os LLMs podem fazer previsões mais informadas com base nas demonstrações, em vez de seu conhecimento pré-existente.

Esse novo método de calibração preserva a informação contextual dentro das demonstrações, enquanto permite que o modelo aprenda de forma mais eficaz. Como resultado, as previsões feitas pelos LLMs se tornam menos dependentes de significados passados, e eles podem se adaptar melhor a novas tarefas.

#Configuração do Experimento

Para testar a Calibração em Contexto, realizamos um conjunto abrangente de experimentos em vários conjuntos de dados e cenários:

1. Conjuntos de Dados: Avaliamos nosso método em 27 conjuntos de dados de classificação em diferentes tipos de tarefas, incluindo análise de sentimentos, inferência de linguagem natural e detecção.

2. Modelos de Base: Comparamos nosso método com métodos de calibração existentes usando três famílias de LLM: GPT, OPT e Llama2.

3. Métricas de Desempenho: Medimos o desempenho de cada modelo usando pontuações F1 macro para avaliar sua capacidade de lidar com as tarefas com e sem calibração.

#Resultados da Calibração em Contexto

Os resultados de nossos experimentos mostraram que a Calibração em Contexto melhorou significativamente o desempenho em todas as tarefas e tamanhos de modelos. Em particular, o Llama2 mostrou uma melhoria média de 23% na pontuação F1 em comparação com as previsões originais na Tarefa Original de ICL. Melhoria de desempenho semelhante foi observada na configuração de Aprendizado de Tarefas, indicando que nosso método efetivamente permite que os modelos aprendam novas relações de entrada-rótulo.

Além disso, descobrimos que a Calibração em Contexto superou consistentemente métodos de base em vários conjuntos de dados, especialmente em tarefas que exigem alta capacidade de aprendizado de tarefas, como Inferência de Linguagem Natural.

#Análise de Diferentes Categorias de Tarefa

Analisamos como a Calibração em Contexto afeta diferentes categorias de tarefa. Para tarefas de sentimento, onde a semântica das palavras é crítica, nosso método mostrou um desempenho robusto. Em contraste, para tarefas como Inferência de Linguagem Natural, onde entender a relação entre frases é essencial, descobrimos que o uso da Calibração em Contexto melhorou significativamente os resultados.

#Desafios e Direções Futuras

Embora nossos achados sejam promissores, ainda existem desafios a serem enfrentados. Nossos experimentos focaram principalmente em tarefas de classificação, deixando os efeitos do Atalho de Demonstração em outros tipos de tarefas, como tarefas de geração, como uma futura avenida para exploração. Além disso, devido a limitações de recursos, não avaliamos modelos maiores, que poderiam gerar resultados mais interessantes.

#Considerações Éticas

Nossa pesquisa foi conduzida principalmente usando LLMs de código aberto e conjuntos de dados disponíveis publicamente, minimizando preocupações éticas. Queremos que nossas descobertas beneficiem pesquisas futuras, fornecendo insights que possam ajudar a corrigir vieses prejudiciais em modelos pré-treinados.

#Conclusão

Em resumo, apresentamos o conceito do Atalho de Demonstração e propomos a Calibração em Contexto como uma solução para ajudar os LLMs a aprender com demonstrações de forma mais eficaz. Nosso método demonstrou melhorias marcantes em várias tarefas e tipos de modelos. No futuro, esperamos expandir nossa pesquisa para outros contextos e abordar os desafios restantes para aprimorar a utilidade dos LLMs em aplicações práticas.