Investigando o Aprendizado em Contexto em Modelos de Linguagem

Modelos de linguagem grandes (LLMs) mostraram muita habilidade em Aprendizagem em contexto (ICL). Isso significa que eles conseguem entender informações a partir de só alguns exemplos, sem precisar de ajustes nas configurações internas. Mas ainda tem coisas que não estão claras sobre como esses exemplos influenciam as previsões. Alguns estudos sugerem que os rótulos reais nos exemplos podem não ser tão importantes quanto se pensava, enquanto a ordem dos exemplos parece ter um efeito forte. Além disso, parece que modelos maiores conseguem aprender a mudar previsões com base em rótulos invertidos, ao contrário dos menores.

Neste estudo, usamos métodos específicos para investigar quais partes dos exemplos importam mais para as previsões. Queríamos ver como diferentes mudanças nos exemplos rotulados afetavam o desempenho dos modelos. Essas mudanças incluíam inverter os rótulos, alterar a entrada e adicionar explicações extras. Depois, analisamos de perto os mapas de saliência, que mostram quão importantes diferentes partes da entrada foram para as decisões dos modelos.

Pesquisas anteriores sugeriram que modelos de linguagem menores podem não ajustar suas previsões quando os rótulos principais são invertidos. Isso indica que esses modelos podem não se adaptar bem a mudanças de entrada. Em contraste, modelos maiores como o InstructGPT conseguem trocar suas previsões de forma eficaz quando apresentados a rótulos invertidos.

Nos nossos experimentos, descobrimos que quando mudamos os rótulos nos exemplos, o impacto nos modelos menores foi considerável em comparação com os maiores. Os resultados mostraram que os rótulos originais eram menos importantes após a inversão. No entanto, mudar as palavras reais na entrada teve um efeito menor do que se esperava, indicando que esses modelos dependem do que aprenderam antes para fazer boas previsões.

Também analisamos se adicionar explicações ajudava os modelos. Surpreendentemente, enquanto essas explicações pareciam tão importantes quanto as palavras originais em alguns casos, elas não melhoraram o desempenho em tarefas de análise de sentimento. Isso levanta questões sobre quão úteis essas explicações são em diferentes situações.

Olhando para o futuro, esperamos que essas descobertas possam ajudar outros na área a entender como os LLMs funcionam e a melhorar a criação de exemplos para o treinamento dos modelos. Dada a popularidade crescente de aplicativos como o ChatGPT, nosso objetivo é melhorar a experiência do usuário em várias áreas usando essas informações.

#Aprendizagem em Contexto

A aprendizagem em contexto permite que os LLMs realizem tarefas usando apenas alguns pares de exemplo de entrada e rótulos. Assim, eles não precisam de ajuste fino, tornando-os flexíveis. Pesquisas mostraram que apresentar rótulos aleatórios não muda significativamente como o modelo performa, com outros aspectos como o formato dos exemplos sendo mais cruciais para os resultados.

Estudos sugerem que modelos maiores podem fazer ajustes mais substanciais em suas previsões, especialmente quando os rótulos são invertidos. Já os modelos menores, muitas vezes, seguem com o que aprenderam sem muita mudança ao enfrentar rótulos misturados em sua entrada.

#Mapas de Saliência

Os mapas de saliência são uma forma de visualizar quão importantes diferentes partes da entrada são para as decisões do modelo. Existem dois métodos principais para criar esses mapas: baseados em gradiente e baseados em perturbação.

#Métodos Baseados em Gradiente

Esses métodos olham para como a saída do modelo muda com pequenas mudanças na entrada. A forma mais simples de fazer isso é usando o gradiente, embora tenha desvantagens como ser afetado por mudanças pequenas ou ter menos clareza nos resultados.

SmoothGrad é uma abordagem para melhorar a qualidade desses mapas, reduzindo o ruído. Outro método, Gradientes Integrados, rastreia como a saída do modelo muda ao passar de uma entrada base para a entrada real.

#Métodos Baseados em Perturbação

Para modelos que não permitem acesso a parâmetros, métodos baseados em perturbação são úteis. Esse processo muda a entrada sistematicamente e vê como a saída do modelo varia. Um método comum é o LIME, que cria várias versões de uma instância de entrada, testa elas com o modelo e constrói um modelo local para entender a importância das características.

Nossa pesquisa tem como objetivo aplicar ambas as técnicas para entender melhor como diferentes demonstrações em ICL funcionam. Construímos demonstrações contrastivas de várias maneiras, incluindo inverter rótulos, alterar a entrada e adicionar explicações.

#Configuração do Experimento

Para entender melhor a ICL, escolhemos uma tarefa de análise de sentimento como base. Selecionamos cuidadosamente exemplos de um conjunto de treinamento, garantindo que tivéssemos uma mistura de indicadores de sentimento positivo e negativo. Cada demonstração incluía quatro versões: a original, rótulo invertido, entrada neutralizada e uma com adição de explicações.

#Inversão de Rótulo

Invertemos os rótulos binários em nossos exemplos, trocando positivo por negativo e vice-versa.

#Neutralização de Entrada

Para essa parte, alteramos as palavras indicativas de sentimento nas avaliações originais para termos neutros. Essa tradução foi feita usando um modelo de linguagem para garantir que as mudanças fossem válidas enquanto mantínhamos o contexto original.

#Adição de Notas Explicativas

Para cada exemplo, geramos explicações detalhando por que uma avaliação foi rotulada como positiva ou negativa. Essas explicações foram então reformuladas para torná-las mais claras e curtas.

#Desempenho do Modelo

Avaliamos como diferentes modelos se saíram sob essas condições. Os modelos testados incluíram BERT ajustado, GPT-3.5-turbo, InstructGPT e variantes menores do GPT-2.

Os resultados mostraram que quando os rótulos foram invertidos, o desempenho dos maiores LLMs caiu drasticamente. Enquanto os modelos menores mostraram menos sensibilidade às mudanças, indicando que eles podem não se adaptar bem a demonstrações variadas.

Alterar a entrada levemente também teve efeitos menores, talvez porque esses modelos dependessem muito do que já sabiam. Adicionar explicações não ajudou a melhorar o desempenho em geral e pode ser desnecessário para certas tarefas.

#Comparação de Mapas de Saliência

Comparámos mapas de saliência gerados sob diferentes condições.

#Impacto da Inversão de Rótulo

Para modelos menores, os rótulos pareciam menos significativos após serem invertidos. No entanto, modelos maiores mostraram um aumento na importância de suas saídas quando enfrentaram demonstrações invertidas.

#Mudanças na Entrada

Através de nossos testes, descobrimos que os termos indicativos de sentimento tinham mais peso do que os neutros. Os pontos de saliência confirmaram isso, indicando que palavras específicas impulsionam previsões em análise de sentimento mais do que termos genéricos.

#Notas Explicativas

Diferente do que estudos anteriores sugeriram, nossas descobertas indicaram que explicações nem sempre melhoraram o desempenho em tarefas de sentimento. Os resultados mostraram que, para alguns modelos menores, os tokens de explicação tinham importância semelhante aos tokens de avaliação originais, destacando a necessidade de adaptar técnicas de explicação para tarefas específicas.

#Limitações e Trabalho Futuro

Reconhecemos algumas limitações em nosso estudo, como o tamanho pequeno da amostra e a escolha restrita de modelos devido a restrições orçamentárias. Pesquisas futuras devem examinar uma gama mais ampla de modelos e conjuntos de dados para validar nossas descobertas.

Além disso, investigar como as demonstrações interagem com a consulta principal poderia fornecer mais insights. Comparar diferentes métodos para criar mapas de saliência também vai aprofundar nossa compreensão de como os modelos percebem a relevância da entrada em várias tarefas.

Em conclusão, este estudo utilizou técnicas de XNLP para analisar a eficácia de mudar demonstrações de entrada-rótulo e seus correspondentes mapas de saliência. As descobertas revelam insights sobre a funcionalidade dos LLMs e ressaltam a complexidade da aprendizagem em contexto. Com o crescimento dos modelos de linguagem em aplicações práticas, essas informações podem guiar melhorias em como as demonstrações e explicações são estruturadas, aprimorando experiências do usuário e o desempenho dos modelos em cenários do mundo real.