Aprimorando Previsões com FreeShap em Modelos de Linguagem

À medida que os modelos de linguagem ficam mais complexos, é importante explicar suas previsões, especialmente quando ajustamos eles para tarefas específicas. Um método para explicar previsões é chamado de atribuição de instância. Essa técnica atribui uma pontuação a cada exemplo de treinamento para mostrar o quanto ele influenciou a previsão do modelo. No entanto, há uma preocupação de que essas pontuações podem variar muito se mudarmos ligeiramente o conjunto de dados. Isso pode tornar a análise menos confiável.

Para resolver esse problema, apresentamos um novo conceito de Robustez para essas pontuações. Mostramos, tanto teoricamente quanto através de experimentos, que um método comumente usado para calcular essas pontuações não é muito confiável, enquanto outro método, chamado valor de Shapley, faz um trabalho muito melhor, embora isso venha com um custo de cálculos mais complexos. Para resolver isso, propomos um novo jeito eficiente de aproximar o valor de Shapley sem precisar ajustar o modelo toda vez. Esse método se chama FreeShap, e funciona bem com grandes modelos de linguagem.

#A Necessidade de Explicação em Modelos de Linguagem

Os modelos de linguagem se tornaram ferramentas chave em várias áreas, incluindo saúde, finanças e justiça. Esses modelos são criados treinando em grandes quantidades de dados textuais e depois são ajustados para realizar tarefas específicas. No entanto, à medida que esses modelos ficam maiores e mais complexos, entender suas previsões se torna mais desafiador. Se não conseguimos explicar por que um modelo faz uma determinada previsão, isso reduz nossa confiança em suas decisões.

Essa necessidade de clareza levou ao desenvolvimento da atribuição de instância, que tenta identificar como diferentes exemplos de treinamento contribuem para as previsões do modelo. Ao contrário de outros métodos que se concentram em características específicas de um ponto de dado, a atribuição de instância olha para os exemplos de treinamento em si. Ela destaca quais exemplos são mais impactantes, oferecendo assim uma visão sobre o comportamento do modelo.

#Os Desafios da Atribuição de Instância

A atribuição de instância tem seus desafios, especialmente em relação à consistência das pontuações atribuídas aos exemplos de treinamento. Quando reamostramos os dados de treinamento, as pontuações atribuídas a exemplos específicos podem mudar. Por exemplo, um exemplo de treinamento pode ter uma pontuação positiva em um conjunto de dados e negativa em outro, gerando confusão sobre se é útil ou prejudicial.

Por exemplo, se um exemplo de treinamento frequentemente muda entre ser útil e prejudicial quando o conjunto de dados muda, isso torna difícil confiar na análise. Idealmente, queremos que exemplos de treinamento que são realmente úteis tenham sempre pontuação positiva e aqueles que são prejudiciais sejam consistentemente pontuados negativamente, não importa como o conjunto de dados é amostrado.

Para alcançar isso, definimos uma nova métrica de robustez na atribuição de instância, focando em quão bem o método mantém o sinal das pontuações das instâncias em diferentes conjuntos de dados. Essa perspectiva nos permite avaliar melhor a eficácia dos diferentes métodos de atribuição de instância.

#Comparando Métodos de Atribuição de Instância

Muitos métodos de atribuição de instância existentes dependem de uma técnica chamada leave-one-out (LOO). Esse método verifica o impacto de cada exemplo de treinamento ao observar como o desempenho do modelo muda quando aquele exemplo é removido. No entanto, LOO frequentemente produz pontuações que são pequenas e altamente variáveis, levando a conclusões menos confiáveis.

Por outro lado, o valor de Shapley usa uma abordagem diferente ao considerar a contribuição de um exemplo em várias combinações de subconjuntos de treinamento. Esse método geralmente resulta em pontuações maiores e mais estáveis, tornando-o preferível em termos de robustez.

Infelizmente, calcular o valor de Shapley é muito mais caro computacionalmente, especialmente à medida que o tamanho do conjunto de dados de treinamento cresce. Enquanto alguns métodos tentam tornar esse processo mais rápido, eles frequentemente negligenciam os custos associados ao ajuste do modelo. Para resolver isso, propomos o FreeShap, uma aproximação eficiente do valor de Shapley que elimina a necessidade de ajuste contínuo.

#Introduzindo o FreeShap

O FreeShap funciona aproveitando um conceito chamado kernel tangente neural empírico (eNTK), que pode emular o processo de ajuste de maneira mais eficiente. Ao pré-computar a matriz eNTK, podemos pontuar exemplos usando regressão por kernel em vez de ajustar o modelo repetidamente. Isso reduz a necessidade de extensos recursos computacionais enquanto ainda mantém um alto nível de precisão na pontuação.

Nosso método oferece vantagens em várias aplicações, incluindo atribuição de instância, Remoção de Dados, seleção de dados e detecção de dados rotulados incorretamente. Ao validar o FreeShap em uma variedade de cenários, demonstramos sua eficácia em melhorar a confiabilidade da atribuição de instância enquanto também mantém a eficiência.

#Validação Experimental do FreeShap

Conduzimos uma série de experimentos para validar o FreeShap em relação ao valor de Shapley e LOO em diferentes conjuntos de dados e tarefas. Ao longo dos experimentos, descobrimos que o FreeShap consistentemente igualou ou superou o desempenho dos métodos tradicionais em termos de precisão de pontuação e eficiência computacional.

Em particular, testamos nosso método em conjuntos de dados projetados para tarefas de uma única frase, como análise de sentimentos, assim como em tarefas de pares de frases, como paráfrase e implicação textual. Nossos achados mostraram que o FreeShap identificou com sucesso exemplos de treinamento influentes, mantendo uma baixa sobrecarga computacional.

#Aplicação da Atribuição de Instância

#Remoção de Dados

Uma aplicação prática da atribuição de instância é na remoção de dados. Ao identificar e remover exemplos de treinamento que são menos úteis, podemos melhorar o desempenho do modelo. Avaliamos quão bem as pontuações do FreeShap se correlacionavam com o desempenho do modelo após a remoção sequencial de dados.

Nossos resultados revelaram que modelos treinados em dados selecionados pelo FreeShap mostraram degradação de desempenho mais rápida ao remover exemplos com as pontuações mais altas, indicando que esses exemplos realmente eram mais valiosos. Por outro lado, remover exemplos com pontuações mais baixas muitas vezes melhorou ou pelo menos manteve o desempenho, mostrando a capacidade do FreeShap de identificar dados menos úteis com precisão.

#Detecção de Rótulos Errados

Além da remoção de dados, a atribuição de instância pode ajudar na detecção de dados rotulados incorretamente. Isso é crucial porque rótulos incorretos podem levar a um treinamento ruim do modelo e previsões pouco confiáveis. Testamos a eficácia do FreeShap em identificar dados rotulados incorretamente ao inverter intencionalmente uma parte dos rótulos em vários conjuntos de dados.

Os resultados indicaram que o FreeShap foi mais eficaz em localizar dados rotulados incorretamente em comparação com outros métodos. Ao analisar as pontuações das instâncias em termos de suas contribuições para o desempenho do modelo, o FreeShap conseguiu rapidamente identificar rótulos incorretos, ajudando assim a limpar conjuntos de dados de forma mais eficaz.

#Conclusão

Nosso trabalho enfatiza a importância de métodos robustos de atribuição de instância no contexto de modelos de linguagem cada vez mais complexos. Ao introduzir o FreeShap, fornecemos um meio de aproximar eficientemente o valor de Shapley, mantendo altos padrões de confiabilidade na pontuação e eficiência computacional. A capacidade de determinar consistentemente a utilidade dos exemplos de treinamento é crucial para construir confiança em sistemas de IA, particularmente em áreas críticas como saúde e finanças.

À medida que continuamos a refiná-los e explorar suas aplicações, vemos um grande potencial para melhorar a interpretabilidade dos modelos e as práticas de curadoria de dados. Ao focar na robustez da atribuição de instância, podemos aumentar a confiabilidade dos sistemas de IA e promover maior confiança em seu uso.