Melhorando a Confiança nas Previsões em Modelos de Linguagem

Fazer previsões com grandes modelos de linguagem (LLMs) pode ser complicado, principalmente quando se trata de saber quão confiantes devemos estar sobre essas previsões. Quando um modelo prevê algo, é importante que a chance prevista de estar certo corresponda à realidade. Isso é o que chamamos de "Calibração." Em termos simples, se um modelo diz que há 70% de chance de algo estar correto, esperamos que ele acerte cerca de 70 vezes em 100.

Este artigo se concentra em um novo método para melhorar como medimos essa incerteza nas previsões, especificamente em situações onde precisamos de uma resposta "sim" ou "não". O novo método usa algo chamado preditor Venn-Abers indutivo (IVAP) para obter melhores estimativas de probabilidade a partir dos modelos de linguagem. Descobrimos que essa abordagem funciona melhor do que alguns outros métodos comuns, o que significa que podemos confiar mais nas saídas do modelo.

#Contexto sobre Modelos de Linguagem

Os modelos de linguagem evoluíram bastante. Eles começaram bem simples, tentando adivinhar a próxima palavra com base nas palavras anteriores, mas agora são sistemas complexos treinados em muitos dados de texto. Para esses modelos funcionarem bem, eles precisam prever com precisão a próxima palavra em uma frase. Essa habilidade é o que permite que eles realizem uma ampla gama de tarefas apenas ajustando o texto de entrada.

Por exemplo, se quisermos saber se uma crítica de filme é positiva ou negativa, podemos pedir ao modelo para resumir a crítica. Com base em como a crítica soa, o modelo adivinha se ela é mais "positiva" ou "negativa." Essa habilidade de fazer suposições educadas sem ser especificamente treinado para cada tarefa é conhecida como aprendizado zero-shot.

#O Desafio da Incerteza

Apesar de os modelos de linguagem modernos serem bons em gerar texto, descobrir quão certos podemos estar sobre suas suposições é complicado. Essa incerteza é crucial, especialmente em aplicações onde acertar a resposta importa, como em conselhos médicos ou documentos legais.

A maioria dos modelos de linguagem fornece saídas na forma de pontuações brutas que não são fáceis de interpretar. Essas pontuações precisam ser ajustadas para que realmente reflitam as Probabilidades de estarem corretas. Apenas rodar as pontuações por uma função matemática chamada softmax pode não nos dar os resultados confiáveis que precisamos.

#Método Proposto para Calibração

Aqui, apresentamos o preditor Venn-Abers indutivo. Esse método ajuda a transformar as pontuações brutas dos modelos de linguagem em probabilidades bem calibradas. A beleza de usar o IVAP é que ele não requer re-treinamento do modelo, o que significa que podemos trabalhar com o modelo como ele é.

O processo começa examinando as pontuações para respostas "sim" ou "não" que o modelo produz para perguntas. O método IVAP usa essas pontuações iniciais para criar um mapeamento adequado para as probabilidades calibradas. Em termos mais simples, ajustamos a saída do modelo para garantir que as chances previstas correspondam à frequência com que aquelas respostas estão corretas.

#Como Funciona o IVAP

O preditor Venn-Abers funciona ajustando os níveis de Confiança das saídas do modelo. Ele compara as previsões feitas pelo modelo com os resultados reais e usa essas informações para refinar as estimativas de probabilidade.

Digamos que o modelo prevê “sim” com uma certa pontuação de confiança. O IVAP verifica os resultados reais salvos de previsões passadas para ajustar essa pontuação. Ele faz isso de uma maneira que garante que as saídas sigam certas propriedades estatísticas, tornando-as confiáveis.

#Escalonamento de Temperatura vs. Preditora Venn-Abers

Outra maneira comum de ajustar as saídas do modelo é através do escalonamento de temperatura. Aqui, as pontuações do modelo podem ser tornadas mais agudas ou suaves ajustando um parâmetro de temperatura. Uma temperatura mais baixa torna a previsão mais extrema, enquanto uma temperatura mais alta espalha as probabilidades de forma mais equilibrada.

Embora o escalonamento de temperatura seja popular, ele tem suas desvantagens. A eficácia do escalonamento de temperatura depende de quão bem a temperatura corresponde à distribuição real dos dados. Se a temperatura não estiver definida corretamente, os resultados podem ser enganadores. É aqui que o IVAP brilha, porque não depende de definir esse parâmetro corretamente; ele fornece bons resultados não importa as condições iniciais de saída.

#Configuração Experimental

Nosso estudo usou o modelo de linguagem Llama 2, que é de código aberto e nos permite ver seu funcionamento interno. Esse modelo foi testado em um conjunto de dados chamado BoolQ, que consiste em perguntas de sim/não baseadas em trechos da Wikipedia.

Para avaliar quão bem nosso novo método funcionou, observamos quão frequentemente os níveis de confiança do modelo corresponderam aos resultados reais. Também verificamos sua capacidade de classificar exemplos positivos mais altos do que negativos.

#Resultados da Calibração

Quando comparamos o desempenho de calibração do modelo usando nosso preditor Venn-Abers com o escalonamento de temperatura tradicional, os benefícios do IVAP ficaram claros. Em vários testes, o IVAP consistentemente produziu melhores estimativas de probabilidade. As previsões estavam bem calibradas em diferentes cenários, mostrando que nosso método poderia ser aplicado de maneira flexível.

Ao examinarmos os resultados, notamos que, enquanto o escalonamento de temperatura às vezes podia melhorar o desempenho, ele era extremamente sensível à configuração de temperatura. Isso tornava seu uso um pouco arriscado. Em contraste, nosso IVAP funcionou de forma confiável em várias condições.

#Qualidade da Previsão

Também analisamos quão bem o modelo poderia diferenciar entre previsões corretas e incorretas, usando um método chamado área sob a curva ROC (AUC). Essa métrica nos ajuda a entender quão bom o modelo é em classificar as respostas corretas.

Os resultados mostraram que o modelo original e o que usava o IVAP desempenharam de maneira semelhante na classificação de correção. Isso é um forte indicador de que nosso novo método não compromete a capacidade do modelo de fazer boas previsões; ele apenas torna essas previsões mais fáceis de interpretar e confiar.

#Trabalhos Relacionados

Nossa abordagem adiciona à base existente de trabalhos sobre métodos de calibração para modelos de linguagem. Embora existam outros métodos, como ajuste fino ou uso de modelos separados para avaliar a incerteza, nossa abordagem de caixa branca usando IVAP permite um melhor controle e confiança nas saídas do modelo.

Alguns outros estudos tocaram nesse tópico, mas nosso foco em usar o IVAP no caso generativo abre novas portas para a quantificação confiável da incerteza.

#Conclusão

Em resumo, nossa pesquisa apresenta uma maneira eficaz de melhorar a calibração dos modelos de linguagem ao responder perguntas de sim/não. Ao utilizar o preditor Venn-Abers indutivo, podemos aprimorar como os modelos expressam sua confiança nas previsões sem precisar re-treiná-los. Nossas descobertas mostram que o IVAP consistentemente supera o escalonamento de temperatura e funciona bem, independentemente de como escolhemos representar as respostas.

Esse trabalho é um passo em direção à criação de sistemas de IA mais confiáveis que podem expressar melhor sua incerteza. Avançando, seria interessante explorar como esse método poderia ser adaptado para cenários mais complexos, como os que envolvem múltiplos rótulos ou perguntas abertas.

À medida que continuamos a refinar esses métodos, nosso objetivo é contribuir para construir uma IA que não apenas fornece respostas, mas também comunica com precisão o quão certo está sobre essas respostas. Isso é vital para criar sistemas em que as pessoas possam confiar, especialmente em áreas críticas como saúde ou conselhos legais.