Melhorando a Explicabilidade em Modelos de Linguagem Grandes

Modelos de linguagem grandes (LLMs) ficaram bem populares e estão sendo usados em várias áreas, tipo saúde, finanças e mais. Esses modelos são feitos pra entender e gerar texto que parece que foi escrito por humanos. Mas, muitos dos melhores modelos não são abertos pro público; eles funcionam como caixas pretas. Isso quer dizer que os usuários não conseguem descobrir facilmente como esses modelos tomam decisões. Essa falta de transparência pode ser um problema, principalmente quando é importante saber como um modelo chegou a uma conclusão específica.

#O Desafio da Explicabilidade

Os LLMs às vezes produzem resultados que parecem certos, mas na real são errados. Isso é conhecido como "alucinação." Além disso, esses modelos tendem a gerar Respostas longas que podem confundir as informações importantes. Mesmo quando os modelos dão explicações para suas respostas, essas explicações podem não se alinhar com o que eles realmente pensam. Isso mostra a necessidade urgente de explicações claras e verdadeiras sobre sistemas de IA.

A explicabilidade é crucial pra construir confiança na IA. Ajuda os usuários a entender como um modelo funciona, permitindo que os desenvolvedores consertem problemas, respeitem regras e identifiquem preconceitos. Muitos métodos que já existem pra explicar o comportamento do modelo incluem olhar como o modelo usa diferentes partes do input pra chegar às suas conclusões. No entanto, esses métodos não funcionam bem com LLMs comerciais, porque o funcionamento deles não está acessível ao público.

#Abordagens Existentes para Explicabilidade

Algumas técnicas envolvem mudar os dados de entrada pra ver como o modelo reage, embora isso muitas vezes exija várias tentativas. Nosso novo método foca em entender LLMs proprietários usando uma maneira mais simples de obter insights sobre como eles funcionam. Isso envolve um método único inspirado por uma técnica comumente usada conhecida como "leave-one-out." Usando esse método, conseguimos encontrar as partes-chave do Contexto que ajudam o LLM a produzir respostas corretas. Ao remover partes do contexto sistematicamente, conseguimos identificar palavras importantes que o modelo precisa pra dar a resposta certa.

#Medindo a Fidelidade nos Modelos

Proponhamos uma nova maneira de checar quão fiéis os LLMs são, comparando partes críticas do contexto com as autoexplicações do modelo. Validamos nossa abordagem usando um conjunto de dados específico chamado conjunto de dados Natural Questions, que é feito de perguntas reais que os usuários fazem. Esse conjunto de dados exige que os modelos leiam informações da Wikipedia pra responder perguntas com precisão.

#O Conjunto de Dados

O conjunto de dados Natural Questions contém perguntas reais de usuários junto com respostas que podem ser longas ou curtas. Por exemplo, se alguém pergunta quando um evento específico aconteceu, o modelo precisa puxar os detalhes relevantes do contexto fornecido. A resposta longa daria uma visão geral do evento, e a resposta curta resumiria de forma concisa.

#Definição do Problema

Identificamos uma nova tarefa pra avaliar quão bem os LLMs explicam suas respostas através de Palavras-chave do contexto fornecido. O objetivo é ver se as explicações do modelo se alinham com as partes do contexto que ele realmente usa pra gerar suas respostas. Isso envolve entender quais seções do input fornecem informações necessárias pra resposta do modelo.

#Identificando Informações Chave

Começamos com uma pergunta, um contexto e uma resposta do modelo. O modelo dá uma resposta que inclui seu raciocínio e palavras chave do contexto. Nosso objetivo é duplo:

1. Encontrar as seções do contexto que contêm informações suficientes para o modelo responder corretamente.
2. Identificar as palavras-chave específicas nessas seções que são críticas pra gerar a resposta correta.

Pra nosso estudo, focamos em um subconjunto de perguntas onde o modelo se sai mal sem nenhum contexto. Isso garante que nossas avaliações sejam justas e relevantes.

#Avaliação das Respostas

Avaliar a qualidade das respostas dos LLMs pode ser complicado. Muitos métodos tradicionais só checam se a resposta do modelo é exatamente a esperada. No entanto, as respostas podem variar devido à forma como a linguagem natural funciona. Pra lidar com esses desafios, juntamos uma nova métrica que combina vários métodos de avaliação pra criar um sistema de pontuação mais abrangente pras respostas do modelo.

#Métricas Híbridas

Nossa métrica híbrida considera vários aspectos das respostas:

• ExactMatch: Checa se a resposta do modelo é exatamente a mesma que a resposta esperada.
• NormExactMatch: Olha pra uma versão normalizada de ambas as respostas pra uma comparação mais justa.
• FuzzyExactMatch: Considera respostas que são semelhantes, mas não iguais.
• EmbedSimilarity: Mede a similaridade entre respostas usando uma abordagem matemática.
• DateMatch: Verifica especificamente se as respostas relacionadas a datas estão formatadas de maneira consistente.

Combinando essas várias checagens, conseguimos avaliar melhor quão bem o modelo entende e gera suas respostas.

#Estruturando Interações com o Modelo

Pra trabalhar efetivamente com LLMs, precisamos guiá-los de uma maneira que os ajude a produzir as melhores respostas. Isso envolve estabelecer um processo estruturado pra garantir que o modelo saiba exatamente o que se espera dele. Ao fornecer exemplos claros e guiar o modelo na tarefa, conseguimos ajudá-lo a entender como dar raciocínios, palavras-chave e respostas.

#Nosso Algoritmo de Explicabilidade

Desenvolvemos um algoritmo que se baseia em métodos existentes, mas torna eles mais eficientes. Nosso método consiste em dois passos principais:

1. Identificar regiões suficientes do contexto que ajudam o modelo a responder perguntas corretamente.
2. Encontrar palavras-chave necessárias dentro dessas regiões que são importantes pra gerar respostas precisas.

Essa abordagem minimiza o número de vezes que precisamos chamar as APIs do modelo, reduzindo custos e tornando o processo mais gerenciável.

#Encontrando Regiões Suficientes

No primeiro passo, dividimos o contexto em partes menores. Tratamos essas como regiões candidatas e verificamos quais levam a respostas corretas. Se uma região permite que o modelo responda corretamente, mantemos como uma região suficiente.

#Detectando Palavras-chave Necessárias

Depois de identificar regiões suficientes, focamos em encontrar palavras-chave dentro dessas áreas. Em vez de mascarar apenas uma palavra, agrupamos palavras juntas. Isso nos permite ver quais grupos são essenciais pra produzir respostas corretas. O objetivo é determinar quais informações específicas o modelo realmente precisa pra gerar respostas precisas.

#Avaliando a Fidelidade

Uma vez que identificamos as palavras-chave necessárias e regiões suficientes, conseguimos medir quão fielmente as respostas do modelo se alinham com as informações-chave que usa. Isso nos dá uma pontuação clara pra avaliar a honestidade e confiabilidade do modelo com base em suas autoexplicações.

#Resultados Preliminares

Nossos resultados iniciais mostram que nosso método tem sido eficaz. Testamos com diferentes versões de LLMs populares, comparando quão bem eles seguiram as informações importantes no contexto. Indicações iniciais sugerem que modelos mais novos se saem melhor em alinhar suas explicações com o contexto relevante.

#Trabalho Relacionado

Tem havido muita pesquisa sobre como explicar LLMs, especialmente aqueles que apenas fornecem saída textual. Alguns estudos focam em métodos que envolvem alterar a entrada pra ver como o modelo reage. Outros destacaram a necessidade de melhores maneiras de avaliar o impacto de palavras e frases diferentes nas decisões do modelo.

Várias técnicas surgiram pra ajudar a explicar as decisões do modelo, mas muitas ainda lutam com a falta de acesso aos funcionamentos internos de modelos comerciais. Nosso método busca simplificar esse processo e fornecer insights mais precisos sobre como os modelos chegam a suas conclusões.

#Resumo e Direções Futuras

Propusemos uma nova abordagem pra avaliar quão bem os LLMs explicam suas respostas com base no contexto local e em suas próprias palavras-chave. Focando em áreas-chave do contexto e usando uma métrica única, conseguimos avaliar melhor o comportamento dos modelos. Indo em frente, planejamos testar esse método em uma gama mais ampla de conjuntos de dados de perguntas e respostas e examinar como melhorar a taxa de sucesso da explicabilidade enquanto gerenciamos custos. Esse trabalho continuará a evoluir, oferecendo insights mais profundos sobre como os LLMs operam e como podemos confiar nas saídas deles.