Analisando Modelos de Linguagem Através de Novos Métodos de Interpretabilidade

Modelos de linguagem (MLs) tão sendo cada vez mais usados em pesquisas sobre como a galera entende a linguagem. A maioria dos estudos anteriores focou em como esses modelos se comportam com base em resultados que dá pra observar, tipo quão surpreendente é uma palavra numa frase. Enquanto isso, novas pesquisas surgiram pra explicar como esses modelos funcionam por dentro, focando nas causas que estão por trás do comportamento deles. Este artigo junta essas duas áreas apresentando uma nova ferramenta pra testar e avaliar como esses modelos interpretam a linguagem.

Pra ver como diferentes métodos funcionam pra explicar o comportamento dos MLs, a gente expandiu uma coleção de tarefas de linguagem chamada SyntaxGym. O nosso objetivo era avaliar o quão bem vários Métodos de Interpretabilidade podem influenciar o comportamento do modelo de forma causal. A gente examinou especificamente os modelos pythia, que variam de 14 milhões a 6,9 bilhões de parâmetros, e testou uma variedade de métodos de interpretabilidade, como probing linear e Busca de Alinhamento Distribuído.

Os nossos achados mostraram que a busca de alinhamento distribuído se saiu melhor que os outros métodos. Usando esse método, analisamos duas tarefas linguísticas complexas: entender quando uma palavra negativa pode ser usada (licenciamento de item de polaridade negativa) e como palavras podem ser ligadas ou extraídas de uma frase (dependências de preenchimento de lacunas). A nossa investigação revelou que essas tarefas foram aprendidas pelo modelo em estágios distintos ao invés de gradualmente ao longo do tempo.

Cada vez mais, os modelos de linguagem tão sendo usados pra estudar como as pessoas processam a linguagem, incluindo prever quais palavras vêm a seguir numa frase e julgar se as frases são gramaticalmente corretas. Pra avaliar quão bem esses modelos entendem a linguagem, os pesquisadores desenvolveram testes específicos que checam a correção gramatical em frases que são muito parecidas entre si. O sucesso é medido pelo fato do modelo avaliar a frase correta mais alta que a incorreta. Apesar dos avanços no uso desses modelos, a gente ainda tem conhecimento limitado sobre como eles tomam decisões internamente.

O nosso processo de benchmark envolve três passos principais: primeiro, pegamos um par de frases que diferem de uma maneira específica; segundo, manipulamos a saída do modelo usando uma intervenção nas suas representações; terceiro, vemos como essa manipulação afeta as previsões feitas pelo modelo. Ao conduzir essas intervenções, a gente pode avaliar o papel que características particulares da entrada têm no comportamento do modelo.

Tem um conceito conhecido como hipótese de representação linear, que sugere que certas ideias são representadas de forma linear dentro do framework do modelo. Muitos experimentos apoiaram essa ideia, mostrando que características relacionadas à linguagem podem ser isoladas em regiões específicas da estrutura interna do modelo. Vários métodos foram desenvolvidos pra identificar e modificar essas características pra observar como elas impactam as previsões do modelo.

Os campos da psicolinguística e da interpretabilidade têm necessidades diferentes: os psicolinguistas analisam como os modelos se saem em vários testes de linguagem, muitas vezes ignorando os mecanismos subjacentes, enquanto novos métodos de interpretabilidade frequentemente carecem de um benchmark abrangente. Pra fechar essa lacuna, a gente introduziu uma abordagem estruturada pra avaliar quão bem os métodos de interpretabilidade conseguem encontrar e manipular características relevantes dentro dos modelos de linguagem. A gente descobriu que a busca de alinhamento distribuído se destacou como o melhor método, mesmo que também possa levar os modelos a mostrar conexões arbitrárias entre entradas e saídas.

Uma investigação mais profunda nos processos de aprendizado dos modelos de linguagem revelou insights sobre como eles lidam com duas tarefas desafiadoras de linguagem. Na tarefa de identificar quando um item negativo pode ser usado, o modelo aprende a ajustar a representação daquela característica através de várias camadas de processamento. Um approach similar de múltiplas etapas foi encontrado na tarefa de preencher lacunas em frases, demonstrando que os modelos não estão apenas memorizando, mas sim desenvolvendo uma compreensão mais sutil.

Quando olhamos como esses mecanismos se desenvolveram ao longo do tempo durante o treinamento, encontramos mudanças significativas em como o modelo processava entradas de linguagem. Inicialmente, o modelo focou em mover informações de uma parte da frase diretamente pra onde precisava ir. À medida que o treinamento avançava, ele começou a desenvolver mais passos intermediários, aumentando sua capacidade de lidar com tarefas complexas.

Enquanto a busca de alinhamento distribuído geralmente produziu resultados mais fortes em várias tarefas, tanto ela quanto o probing linear tendem a concordar sobre as regiões mais eficazes pra lidar com várias características linguísticas. É importante notar que a busca de alinhamento distribuído foi capaz de mostrar efeitos causais mesmo nos estágios iniciais do treinamento, o que apoia achados anteriores na área.

A gente introduziu um benchmark multitarefa pra avaliar quão eficazes diferentes métodos de interpretabilidade são em capturar influências causais no processamento de linguagem. O método de busca de alinhamento distribuído foi particularmente impressionante, mas a gente também introduziu uma forma de tarefas de controle pra permitir comparações justas de eficácia entre vários métodos.

Os resultados indicam que, enquanto a busca de alinhamento distribuído encontra características mais informativas causalmente, outros métodos, como probing linear e diferença de médias, também têm suas forças. Os métodos não supervisionados, como PCA e clustering k-means, não foram tão eficazes nesse contexto.

Outro aspecto importante foi a variabilidade nos graus de seletividade entre os métodos, sugerindo que, enquanto alguns métodos são fortes em encontrar relações causais, eles nem sempre têm foco estreito, às vezes se saindo bem até em tarefas não relacionadas. Isso foi particularmente relevante ao testar a eficácia de diferentes abordagens em entender como os modelos de linguagem aprendem.

Nas nossas estudos de caso, examinamos como os modelos aprendem comportamentos linguísticos essenciais, focando na capacidade deles de gerenciar o uso de itens de polaridade negativa e dependências de preenchimento de lacunas. Os experimentos mostraram que entender e processar essas tarefas requer mecanismos intrincados que se desenvolvem através de diferentes estágios de treinamento.

Em conclusão, a gente espera que o nosso novo benchmark encoraje pesquisadores em psicolinguística computacional a ir além de apenas analisar as saídas dos modelos de linguagem. Um entendimento de como esses modelos operam internamente pode trazer insights importantes sobre a natureza da própria linguagem. Além disso, embora este estudo focou no inglês, pesquisas semelhantes em outras línguas poderiam oferecer uma visão mais abrangente de como os modelos de linguagem aprendem e processam diversas tarefas linguísticas.

À medida que o campo da interpretabilidade continua a avançar, uma avaliação adequada de quão bem os métodos existentes realmente refletem o comportamento e as características das redes neurais será crucial. É vital que a gente aborde o uso da interpretabilidade com cautela, especialmente em aplicações sensíveis onde modelos de linguagem podem impactar a tomada de decisões humanas.

Resumindo, os nossos achados lançam luz sobre o potencial dos métodos de interpretabilidade pra aprofundar nosso entendimento do processamento de linguagem nos modelos. A gente encoraja a pesquisa contínua e a adoção de estruturas de intervenção pra explorar mais a fundo os mecanismos por trás da compreensão da linguagem.