Comparando Explicações de Recursos de Entrada para Modelos de Aprendizado de Máquina

Entender como os modelos de machine learning tomam decisões é importante. Isso é especialmente verdade para garantir que esses modelos sejam justos e possam ser confiáveis. Uma maneira de explicar as decisões do modelo é destacando as características de entrada importantes. Isso pode incluir tokens específicos (como palavras), interações entre tokens ou interações entre grupos de entradas relacionadas.

No entanto, a maior parte das pesquisas existentes analisou esses tipos de explicações separadamente, tornando difícil decidir qual tipo de explicação é melhor para diferentes situações. Para preencher essa lacuna, propomos uma estrutura unificada que nos permite comparar diferentes tipos de explicações diretamente.

#Tipos de Explicações de Características de Entrada

Existem três principais tipos de explicações de características de entrada:

1. Explicações de Tokens: Essas apontam a importância de tokens ou palavras individuais dentro dos dados de entrada.
2. Explicações Interativas de Tokens: Essas explicam como pares de tokens trabalham juntos para afetar a previsão do modelo.
3. Explicações Interativas de Span: Essas olham como grupos de tokens ou trechos de texto interagem entre si para influenciar previsões.

Cada tipo tem suas forças e fraquezas, e ao compará-los, podemos entender melhor quando usar cada tipo.

#Necessidade de uma Estrutura Unificada

Para comparar sistematicamente diferentes tipos de explicações, propomos uma estrutura baseada em quatro propriedades principais:

1. Fidelidade: Isso mede se a explicação reflete com precisão o raciocínio real do modelo.
2. Concordância com Anotações Humanas: Isso verifica se as explicações estão alinhadas com a forma como os humanos interpretariam o raciocínio do modelo.
3. Simulabilidade: Isso avalia se as explicações ajudam um agente automatizado a imitar as previsões do modelo.
4. Complexidade: Isso mede quão fáceis são de entender as explicações, avaliando a diversidade das características-chave apresentadas.

Usando essas propriedades, podemos avaliar e comparar diferentes tipos de explicações de características de entrada.

#Análise das Explicações de Características de Entrada

Fizemos uma análise detalhada usando duas tarefas diferentes e três técnicas de explicação diferentes para cada tipo de explicação de característica de entrada. Nossos achados mostraram diferenças significativas entre os tipos:

• Explicações de Tokens se mostraram as mais fiéis à previsão do modelo.
• Explicações Interativas de Tokens ofereceram uma utilidade melhor para aprender como replicar as decisões de um modelo.
• Explicações Interativas de Span mostraram um bom nível de concordância com a forma como os humanos interpretam explicações.

Essa análise destaca as variadas forças de cada tipo de explicação e sugere que pesquisas futuras devem se concentrar em criar métodos que misturem os diferentes tipos para melhorar todas as propriedades diagnósticas.

#Detalhes do Framework de Avaliação

#Propriedades do Framework

1. Fidelidade:

   • Para avaliar a fidelidade, observamos como a explicação reflete o raciocínio do modelo.
   • Medimos dois aspectos: abrangência (quão bem a explicação cobre o raciocínio do modelo) e suficiência (se a explicação inclui elementos-chave suficientes).

2. Concordância com Anotações Humanas:

   • Essa propriedade avalia quão bem as explicações geradas se sobrepõem às explicações anotadas por humanos.
   • Uma concordância maior sugere que as explicações são mais plausíveis para os humanos.

3. Simulabilidade:

   • Para medir isso, treinamos um modelo agente para ver quão precisamente ele pode imitar as previsões do modelo original usando as explicações fornecidas.
   • Se o agente se sai melhor com as explicações, consideramos isso um indicativo de boa simulabilidade.

4. Complexidade:

   • Usamos entropia para medir quão variados são os scores de importância entre as explicações.
   • Explicações com baixa pontuação de complexidade oferecem um entendimento mais claro e focado em comparação com aquelas com alta complexidade.

#Seleção de Conjunto de Dados e Modelos

Para nossos experimentos, escolhemos o conjunto de dados SNLI (Stanford Natural Language Inference) e o conjunto de dados FEVER (Fact Extraction and Verification). Usamos esses conjuntos para gerar explicações com base em três técnicas de explicação comuns: Valores de Shapley, métodos baseados em Atenção e Gradientes Integrados.

Para modelagem, empregamos as arquiteturas BERT e BART, que são modelos transformer bem conhecidos. Isso nos permitiu gerar as explicações de características de entrada necessárias, garantindo que cobríssemos vários cenários.

#Descobertas dos Experimentos

A avaliação unificada mostrou o desempenho de vários métodos de explicação nos conjuntos de dados e modelos. Cada tipo de explicação apresentou forças distintas:

• Abrangência: Descobrimos que tanto as Explicações de Tokens quanto as de Span eram geralmente mais abrangentes que as Explicações Interativas de Tokens.
• Suficiência: Explicações Interativas de Tokens frequentemente ofereciam uma visão melhor de como os trechos de texto se relacionam com as previsões do modelo, tornando-as adequadas para tarefas de raciocínio complexo.
• Concordância com Anotações Humanas: Explicações Interativas de Span mostraram uma alta concordância com o raciocínio humano, indicando que podem melhorar a compreensão da tomada de decisão do modelo.
• Simulabilidade: Explicações Interativas de Tokens ajudaram significativamente os modelos agentes a replicar as previsões do modelo original, sugerindo que são úteis para aplicações práticas.
• Complexidade: As Explicações de Tokens foram consideradas mais fáceis de entender em comparação com as Explicações de Span, que tendiam a incluir mais contexto e, portanto, poderiam ser mais complexas.

#Insights e Conclusões

Através da nossa análise extensa, conseguimos identificar as várias forças e trocas de cada tipo de explicação. Esse trabalho enfatiza a necessidade de desenvolver métodos combinados que melhorem todas as propriedades diagnósticas em pesquisas futuras.

Em resumo, enquanto as Explicações de Tokens e Span são geralmente mais abrangentes, as Explicações Interativas de Tokens podem fornecer insights mais profundos sobre as relações entre os dados de entrada, melhorando tanto a concordância com as interpretações humanas quanto a simulabilidade. Isso sugere que a seleção cuidadosa das técnicas de explicação é vital para aumentar a compreensão humana das decisões do modelo e garantir a confiabilidade e a justiça dos sistemas de machine learning.

Seguindo em frente, há uma oportunidade clara de avançar o campo, focando em como integrar da melhor forma esses diferentes tipos e técnicas de explicação para um suporte de tomada de decisão ideal.