Arthur Conmy

Cette étude utilise des autoencodeurs épars pour interpréter les sorties de la couche d'attention dans les transformers.

Les JumpReLU SAEs améliorent la représentation des données tout en restant simples et clairs.

Gemma Scope propose des outils pour mieux comprendre les modèles de langage et améliorer la sécurité de l'IA.

Une méthode pour améliorer l’efficacité du vecteur de direction dans les modèles linguistiques.