Neel Nanda

A ativação de patching mostra insights sobre as saídas e comportamentos dos modelos de linguagem.

O estudo investiga neurônios universais nos modelos GPT-2 e seus papéis.

Pesquisadores investigam como os modelos se adaptam quando componentes são removidos.

Um olhar mais de perto sobre métodos de atribuição causal para modelos de linguagem grandes.

Autoencoders esparsos melhoram a interpretabilidade dos sistemas de IA e dos processos de tomada de decisão deles.

Aprenda como os transcodificadores ajudam a esclarecer modelos de linguagem complexos.

Esse artigo analisa como certos neurônios afetam a incerteza nas previsões de modelos de linguagem.

Esse estudo usa autoencoders esparsos pra interpretar as saídas da camada de atenção em transformers.

JumpReLU SAEs melhoram a representação dos dados mantendo tudo simples e claro.

Gemma Scope oferece ferramentas pra entender melhor os modelos de linguagem e melhorar a segurança da IA.

Novas métricas melhoram a compreensão dos Autoencoders Esparsos em redes neurais.

Os autoencoders esparsos BatchTopK melhoram o processamento de linguagem através de uma seleção inteligente de dados.