Présentation de Snap : Une nouvelle façon pour les LLMs d'oublier

Les grands modèles de langage (LLMs) comme ChatGPT sont super utilisés par plein de gens au quotidien. Même si ces modèles peuvent être utiles, des fois, ils balancent des infos perso ou protégées par des droits d'auteur. Du coup, il y a un besoin de trouver une méthode pour "oublier" ces connaissances sélectives, c'est-à-dire enlever ça du modèle sans perdre ses compétences globales.

Les tentatives précédentes de faire oublier des infos spécifiques aux modèles ont souvent abouti à des réponses bizarres ou incorrectes quand on leur posait des questions sur ces infos. Ça peut rendre l'utilisation des modèles frustrante pour les utilisateurs. Pour régler ce souci, on vous présente un nouveau cadre appelé Snap qui vise à enlever efficacement les connaissances indésirables tout en gardant la performance du modèle intacte.

#C'est quoi l'oubli machine ?

L'oubli machine fait référence au processus d'apprendre à un modèle de machine learning entraîné à oublier des éléments d'information spécifiques. De plus en plus de gens s'inquiètent des problèmes de vie privée, surtout avec des régulations comme le Droit à l'Oubli en Europe et des lois similaires aux États-Unis. Les entreprises ont besoin de moyens pour effacer des infos perso quand on leur demande.

En plus, il y a des préoccupations concernant le contenu protégé paru grâce aux LLMs. Les méthodes d'oubli existantes tentent souvent de déconnecter certaines données des informations connexes, mais ça peut aboutir à des réponses confuses de la part des modèles. Notre méthode vise à s'assurer que le modèle ne réponde tout simplement pas aux questions sur les infos qu'on veut qu'il oublie.

#Le défi de l'oubli

Oublier, c'est compliqué. Ça implique de changer un modèle qui a des millions, voire des milliards de paramètres. Une façon de s'assurer qu'un modèle oublie une info, c'est de le réentraîner complètement depuis le début sans les données à retirer. Mais souvent, c'est trop cher et prend trop de temps, surtout avec des grands modèles.

Avec la montée en popularité des LLMs, beaucoup cherchent des moyens plus rapides pour oublier des infos. La recherche sur l'oubli machine s'est traditionnellement concentrée sur des tâches de traitement d'image, mais la poussée des LLMs soulève des préoccupations similaires en traitement du langage naturel (NLP).

#Notre approche : Snap

Notre cadre, Snap, est conçu pour aider les LLMs à oublier des infos sélectives tout en gardant leurs capacités d'origine. La méthode inclut plusieurs étapes :

1. Instructions Négatives : On crée un ensemble d'instructions qui guide le modèle pour produire des réponses indiquant qu'il a oublié certaines connaissances.
2. Augmentation de Données de Retention Dure : On génère des données d'instruction supplémentaires liées aux connaissances qu'on veut garder, s'assurant que le modèle distingue entre ce qu'il doit oublier et ce qu'il doit retenir.
3. Régularisation Wasserstein : Cette technique aide à garantir que les changements apportés au modèle pendant l'entraînement n'affectent pas trop ses capacités.

Grâce à ces étapes, on peut retirer efficacement des informations comme des noms tout en permettant au modèle de répondre avec précision à d'autres questions.

#Création d'Instructions Négatives

Pour commencer, on développe un ensemble d'instructions négatives qui disent au modèle ce qu'il doit oublier. On automatise ce processus en utilisant des LLMs pour générer des questions liées aux infos qu'on veut effacer. Chaque question est ensuite associée à une réponse disant que le modèle ne peut pas répondre.

On filtre ces questions pour assurer la diversité, en retirant les doublons et en ne sélectionnant que des variations uniques. Cela donne un ensemble d'instructions de haute qualité qui guident le modèle à produire des réponses effacées.

#Augmentation de Données de Retention Dure

Dire simplement au modèle d'oublier quelque chose peut le pousser à oublier des infos connexes qui devraient être gardées. Pour éviter ça, on ajoute une couche d'augmentation de données de retention dure. Ici, on construit un deuxième ensemble d'instructions qui posent des questions liées aux infos qu'on veut garder.

En entraînant le modèle sur les instructions négatives et les données de retention dure, on l'aide à apprendre la distinction entre ce qui doit être oublié et ce qui doit être retenu. Cette double approche assure un résultat plus équilibré pendant le processus d'oubli.

#Mise en œuvre de la Régularisation Wasserstein

La régularisation Wasserstein agit comme une sécurité. Elle contrôle combien les paramètres du modèle changent pendant l'entraînement, s'assurant que le modèle garde sa performance globale. Cette technique mesure le coût de changement des paramètres du modèle et cherche à minimiser les modifications inutiles.

Utiliser cette approche nous aide à gérer combien on modifie le modèle, permettant à celui-ci de conserver ses capacités tout en atteignant l'oubli souhaité.

#Évaluation du Cadre

Pour démontrer l'efficacité de notre approche, on réalise des évaluations en utilisant des ensembles divers d'instructions. Un exemple est d'essayer d'effacer des connaissances sur un personnage célèbre, Peter Parker, tout en s'assurant que le modèle puisse encore se relier à d'autres sujets.

On évalue la performance du modèle de plusieurs manières :

• Précision d'Oubli (UA) : À quel point le modèle génère efficacement des réponses effacées concernant l'information oubliée.
• Précision de Retention (RA) : À quel point le modèle répond correctement aux questions liées aux informations qu'on veut garder.
• Précision de Test (TA) : La performance du modèle sur des sujets complètement non liés, assurant qu'il performe bien en général.

À travers ces évaluations, on mesure la capacité du modèle à oublier des connaissances spécifiques sans sacrifier son utilité globale.

#Résultats et Conclusions

Nos résultats montrent que le cadre Snap est efficace. Quand on teste les réponses du modèle après l'opération d'oubli, il évite avec succès de répondre aux questions sur Peter Parker, tout en pouvant encore répondre avec précision à d'autres types de questions.

En général, le modèle conserve environ 95 % de sa performance originale sur diverses tâches, confirmant qu'il peut efficacement oublier des infos spécifiques sans diminuer ses compétences dans d'autres domaines.

#Traitement de Réelles Données Personnelles

On a aussi testé le cadre Snap avec de vraies données personnelles. Par exemple, on a pu examiner une personne connue pour voir si le modèle pouvait efficacement oublier ses infos. Dans ce cas, on a utilisé Bill Gates comme référence.

On a effectué des tests pour confirmer que le modèle fonctionne toujours bien quand on lui pose des questions sur des sujets liés, comme des personnes ou des organisations associées à Bill Gates, tout en restant incapable de discuter d'infos directement le concernant. Ces résultats suggèrent que Snap peut être appliqué à des scénarios réels de préoccupations de vie privée.

#Plusieurs Demandes d'Oubli

Notre exploration a également inclus comment bien le modèle gère plusieurs demandes d'oubli. On a testé à la fois l'oubli par lot (en retirant plusieurs identités à la fois) et l'oubli séquentiel (en retirant des identités une par une). Les résultats ont montré que le modèle pouvait gérer les deux scénarios efficacement tout en gardant ses capacités.

Notamment, à mesure qu'on oublie plus d'identités, le modèle montre une amélioration de performance sur les tâches connexes, renforçant l'adaptabilité de notre approche. Cette amélioration se produit parce que le modèle peut utiliser des données de retention similaires lorsqu'il s'attaque à de nouvelles demandes d'oubli.

#Directions Futures

Bien que Snap montre du potentiel pour l'oubli sélectif, il y a encore de la place pour s'améliorer. Une limitation est que le cadre n'élimine pas complètement la connaissance ; au lieu de ça, il apprend au modèle à éviter de donner des infos spécifiques.

La recherche pourrait se concentrer sur le raffinement de ce processus pour que la connaissance soit plus complètement retirée des paramètres du modèle. Cela répondrait aux préoccupations sur l'efficacité avec laquelle un LLM peut respecter les régulations de vie privée tout en continuant à fonctionner.

Une autre avenue pour l'exploration future pourrait impliquer de rendre le cadre plus généralisé à d'autres langues au-delà de l'anglais. En l'état, Snap a été développé principalement pour des ensembles d'instructions en anglais, et il pourrait y avoir des opportunités d'élargir sa portée.

#Conclusion

En résumé, Snap propose une nouvelle approche pour oublier des connaissances sélectives dans les grands modèles de langage. En utilisant des instructions négatives, des données de retention dure et des méthodes de régularisation, on offre un moyen d'enlever efficacement des infos indésirables tout en gardant les capacités globales du modèle.

Ce cadre a des implications précieuses pour des applications réelles où la vie privée et les droits d'auteur sont des considérations essentielles. Au fur et à mesure que les LLMs continuent d'être intégrés dans divers services, avoir des méthodes efficaces d'oubli sera crucial pour protéger les infos des utilisateurs.

#Évaluation Humaine du Cadre

Pour valider l'efficacité de nos ensembles d'instructions, on a réalisé des évaluations humaines. On a évalué la pertinence, la diversité et l'exactitude des instructions générées. Les évaluateurs ont passé en revue une variété d'exemples, s'assurant que les questions étaient appropriées pour les entités qu'on voulait oublier.

Nos conclusions indiquent un haut niveau de pertinence et de diversité au sein des ensembles d'instructions, soutenant l'efficacité de l'utilisation de méthodes automatisées pour générer des instructions négatives et de retention.

#Annexe : Exemples de Dataset

On inclut des exemples de comment on a construit nos ensembles d'instructions négatives et de retention. Chaque question est associée à une réponse qui s'aligne avec nos objectifs d'effacer certaines connaissances tout en maintenant la clarté sur les sujets connexes.

Dans chaque dataset, on vise un équilibre entre des questions factuelles et des questions ouvertes plus larges, s'assurant que le LLM peut bien performer dans divers types de requêtes.

Cette approche structurée nous aide à créer un dataset solide pour l'oubli de connaissances sélectionnées, facilitant l'adaptation et la performance efficace du modèle dans des cas d'utilisation pratiques.