Simplifier le savoir complexe dans les modèles d'IA

Cette enquête parle d'un nouveau et important domaine de recherche appelé Distillation de connaissance symbolique dans les Grands Modèles de Langage (LLMs). Les LLMs comme GPT-3 et BERT ont augmenté en taille et en complexité. À mesure qu'ils grandissent, il devient essentiel d'utiliser efficacement leur énorme quantité de connaissances. L'objectif de cette enquête est de voir comment on peut transformer la connaissance complexe présente dans ces modèles en une forme symbolique plus simple. C'est important parce que ça rend les LLMs plus faciles à comprendre, plus efficaces, et utiles dans différentes applications.

On va classer les recherches déjà disponibles selon différentes méthodes et usages. L'idée est de montrer comment la distillation de connaissance symbolique peut aider à améliorer la clarté et l'efficacité des modèles d'IA plus petits. On va aussi discuter des principaux défis auxquels les chercheurs font face, comme garder les connaissances détaillées tout en les rendant plus accessibles. De plus, on va explorer les différentes méthodes développées jusqu'à présent dans ce domaine, identifier les lacunes dans la recherche actuelle et suggérer des opportunités pour des travaux futurs. Cette enquête donnera un aperçu large de la distillation de connaissance symbolique dans les LLMs et soulignera son importance pour rendre les systèmes d'IA plus accessibles et efficaces.

Il y a un intérêt grandissant sur comment la connaissance symbolique peut améliorer la clarté, l'efficacité et la gamme d'utilisations des LLMs, les transformant en outils meilleurs et plus compréhensibles. Malgré la reconnaissance de son importance, il y a encore un manque significatif de recherches approfondies qui examinent de près ce processus d'intégration. La plupart des études existantes se concentrent soit sur les avancées dans les LLMs soit sur les connaissances qu'ils contiennent, avec moins d'attention sur la distillation de connaissance symbolique des LLMs. Cette enquête vise à combler cette lacune en fournissant une revue détaillée de l'état actuel de la distillation de connaissance symbolique dans les LLMs, en mettant l'accent sur les méthodes, défis, et avancées dans ce domaine.

#Qu'est-ce que les Grands Modèles de Langage ?

Les Grands Modèles de Langage (LLMs) sont un sujet majeur dans l'intelligence artificielle (IA), avec de grandes avancées réalisées fréquemment. Les LLMs sont formés sur d'énormes quantités de données, y compris des sites web, des articles de recherche et des livres. Ils encapsulent des connaissances dans de nombreux paramètres et peuvent servir de bases de connaissance d'où des informations peuvent être extraites pour divers usages. Ces usages peuvent inclure l'ajustement d'autres modèles pour des tâches spécifiques, la validation d'actions, ou la génération de datasets plus grands et plus précis. Cependant, la connaissance intégrée dans les LLMs n'est pas directement accessible et nécessite une extraction soignée et une utilisation efficace pour produire des résultats efficaces.

La connaissance présente dans les LLMs, stockée dans les poids de leurs paramètres, peut être convertie en une forme symbolique plus interprétable grâce au processus de distillation de connaissance symbolique. Le principal défi ici est de traduire la connaissance implicite, étalée codée dans les réseaux neuronaux des LLMs en représentations symboliques claires et compréhensibles. Cette transformation est essentielle pour plusieurs raisons : améliorer la transparence et l'interprétabilité des modèles, faciliter le transfert de connaissances à des modèles plus petits et plus efficaces, et permettre de meilleurs systèmes d'IA explicables. En changeant la connaissance en forme symbolique, on peut comprendre les raisons derrière les décisions du modèle, ce qui est important dans les applications où connaître le 'pourquoi' des prédictions ou recommandations est aussi crucial que les résultats eux-mêmes.

Dans cet article, on introduit un cadre détaillé consacré à la distillation de connaissance symbolique des LLMs, en commençant par un aperçu historique de la distillation de connaissance symbolique et son développement jusqu'à son état actuel. Ensuite, on analyse diverses méthodes traditionnelles de distillation de connaissance et les compare avec les approches de distillation de connaissance symbolique. On explore aussi les architectures des LLMs et leurs mécanismes d'entraînement et d'ajustement. On catégorise les techniques de distillation de connaissance symbolique en trois types uniques : Direct, Multiniveau et Distillation via l'Apprentissage par Renforcement. On compile également des articles de recherche axés sur la connaissance symbolique et ceux abordant spécifiquement la distillation de connaissance symbolique des LLMs.

#L'Expansion de la Technologie Linguistique

Au cours des dernières décennies, la technologie linguistique a progressé de façon significative. Le Test de Turing, réalisé en 1950, était l'un des premiers jalons dans ce domaine. Il a établi les bases de l'idée selon laquelle les machines peuvent se comporter de manière similaire aux humains et montrer de l'intelligence. La même année, Shannon a introduit le concept d'entropie, aidant à prédire la prochaine lettre en se basant sur des textes précédemment connus. En 1964, ELIZA a émergé comme un programme informatique de traitement du langage naturel (NLP) conçu pour imiter le style de conversation d'un thérapeute. SHRDLU, introduit en 1968, a été parmi les premiers systèmes de compréhension du langage naturel interactifs capables de comprendre et de répondre à des commandes en langage naturel dans un monde simplifié d'objets.

Les années suivantes ont vu l'émergence des Modèles Linguistiques Statistiques (SLMs), avec des travaux notables, y compris "Introduction de l'Approche Stochastique pour l'Analyse" en 1986 et "Approche Statistique pour la Traduction Automatique" en 1990. Cependant, des problèmes comme la fragilité entre les domaines et les fausses hypothèses d'indépendance ont conduit à la baisse des SLMs.

L'introduction de la Mémoire à Long et Court Terme (LSTM) en 1997 a marqué le début de l'ère des Modèles de Langage Neuraux (NLM). Ces modèles ont amélioré le traitement du langage en capturant des dépendances à long terme et en gérant efficacement le problème du gradient qui disparaît. En 2001, le premier modèle de langage neural a été introduit, entraîné en utilisant l'algorithme de Descente de Gradient Stochastique (SGD), prouvant être écologiquement efficace et évolutif. À mesure que les réseaux neuronaux ont grandi non seulement en fonctionnalité mais aussi en taille, la compression de modèle a été proposée en 2006. Les techniques de compression de modèle ont été divisées en quatre approches : élagage de paramètres, factorisation à faible rang, convolutions compactes et distillation de connaissance.

En 2011, IBM Watson a progressé dans le traitement du langage en remportant un jeu de Jeopardy contre des concurrents humains. En 2013, l'algorithme Word2Vec a été introduit, permettant aux ordinateurs de comprendre le contexte des mots et leurs relations. L'année suivante, seq2seq a été introduit, utilisant un encodeur pour représenter une séquence d'entrée et un décodeur pour générer la séquence de sortie. GloVe, introduit la même année, utilisait une matrice de co-occurrence pour capturer les relations entre les mots dans un corpus.

La distillation de connaissance, une technique de compression de modèle, a été introduite en 2015 pour transférer la connaissance d'un modèle enseignant plus grand vers un modèle étudiant plus petit. La même année, FitNets a été proposé pour ajouter un terme supplémentaire à la perte de distillation de connaissance. En 2016, une étude a utilisé des cartes d'attention comme indices, comparant l'erreur quadratique moyenne entre les cartes d'attention des modèles enseignant et étudiant. La même année, SQuAD a été introduit, établissant un ensemble de données de référence pour évaluer la compréhension de lecture des machines.

En 2017, le modèle Transformer a été introduit, permettant le développement de modèles de langage avancés qui peuvent apprendre efficacement les relations entre les mots dans une phrase grâce à l'auto-attention. L'année suivante a vu diverses nouvelles approches fournissant des indices par différents moyens, y compris les matrices Gram.

En 2018, ELMo, qui utilise des embeddings différents pour le même mot dans divers contextes, a été introduit. De plus, l'Universal Sentence Encoder a encore avancé le traitement du langage en fournissant des représentations de phrases pouvant gérer plusieurs langues.

L'évaluation de la compréhension linguistique générale (GLUE), un cadre d'évaluation standard pour comparer différents modèles de langage, a été introduite simultanément avec BERT et GPT-1 en 2018, marquant le début de l'ère du Modèle de Langage Pré-entraîné (PLM). En 2019, GPT-2 est devenu le premier modèle de langage à atteindre un milliard de paramètres, suivi par T5, le premier modèle avec 10 milliards de paramètres. Une recherche publiée en 2019 a noté que les méthodes d'extraction d'indices existantes pourraient ne pas être optimales en raison de la perte d'informations lors de la transformation ReLU. Pour y remédier, une fonction d'activation modifiée appelée marginReLU a été introduite. Des études de 2020 ont utilisé différentes méthodes pour permettre aux modèles étudiants d'apprendre des représentations des enseignants.

En 2020, Google Shard (GShard) est devenu le premier modèle de langage à atteindre 100 milliards de paramètres, et en 2021, le Modèle de Langage Généraliste (GLaM) a touché l'échelle du trillion de paramètres. Le concept de distillation de connaissance symbolique a été introduit cette année-là, permettant aux modèles plus petits d'apprendre des modèles plus grands de manière symbolique. Depuis, la distillation de connaissance symbolique a été appliquée dans divers domaines comme le résumé de phrases sans référence et l'acquisition de connaissances comparatives. Les lois de mise à l'échelle pour les modèles de langage neuronaux montrent que la performance s'améliore avec l'augmentation de la taille du modèle et du dataset, suivant une relation prévisible.

Les grandes entreprises technologiques investissent massivement dans le développement de leurs propres LLMs en raison de leur immense potentiel dans des secteurs comme la santé, la finance et le service client. Étant donné les avancées rapides dans ce secteur, il est urgent de guider l'IA vers des voies sûres et responsables.

#Distillation de Connaissance Expliquée

La distillation de connaissance est une technique utilisée pour transférer la connaissance d'un modèle plus grand et plus complexe (enseignant) à un modèle plus petit et plus simple (étudiant), dans le but de conserver une grande partie des performances du modèle enseignant. Ce processus est crucial lorsque les ressources informatiques sont limitées ou lorsque des modèles légers sont nécessaires. Il existe différents types de techniques traditionnelles de distillation de connaissance : basée sur les réponses, basée sur les caractéristiques, basée sur les relations, et une distillation de connaissance symbolique moderne.

#Distillation de Connaissance Basée sur les Réponses

Cette approche consiste à transférer la connaissance de la couche de sortie finale du modèle enseignant au modèle étudiant. Elle vise à imiter les prédictions finales de l'enseignant. La méthode est simple et a montré son efficacité dans diverses tâches. Une application importante de la distillation de connaissance basée sur les réponses se trouve dans la classification d'images, où les "cibles douces" assignées par le modèle enseignant jouent un rôle crucial.

#Distillation de Connaissance Basée sur les Caractéristiques

La distillation basée sur les caractéristiques repose sur l'apprentissage par les réseaux neuronaux de représentations de caractéristiques hiérarchiques. Contrairement à la distillation basée sur les réponses, qui se concentre sur les sorties de la couche finale, cette méthode utilise les sorties des couches intermédiaires pour guider le modèle étudiant. Cette approche est particulièrement bénéfique pour former des modèles plus profonds et offre un ensemble de signaux d'entraînement plus riche.

#Distillation de Connaissance Basée sur les Relations

La distillation basée sur les relations va au-delà des autres méthodes en examinant les relations entre diverses couches ou échantillons de données dans le modèle enseignant. Cette méthode offre une forme de transfert de connaissance plus nuancée, qui se concentre sur les interactions et les corrélations au sein des cartes de caractéristiques du modèle.

#Distillation de Connaissance Symbolique

Contrairement aux méthodes précédentes, la distillation de connaissance symbolique se concentre sur le transfert de connaissance dans un format symbolique, qui peut inclure des règles et des logiques. Cette technique intègre la connaissance structurée avec les modèles d'apprentissage automatique pour améliorer la performance et la clarté. Sa force réside dans l'alignement avec les méthodes de raisonnement humain, favorisant ainsi une meilleure compréhension et confiance.

La distillation de connaissance symbolique implique un processus d'extraction de connaissance d'un modèle complexe et de conversion en une forme symbolique plus simple. Cette transformation comprend généralement plusieurs étapes définies :

1. Entraînement du Modèle Enseignant : Un modèle complexe (enseignant) est formé pour atteindre de bonnes performances sur un dataset.

2. Extraction de Connaissance : Des insights sont dérivés du modèle enseignant à travers différentes méthodes, y compris l'analyse des schémas d'activation des neurones ou l'utilisation de techniques pour évaluer l'importance des entrées.

3. Représentation Symbolique : La connaissance recueillie est ensuite traduite dans un format symbolique, comme des arbres de décision ou des règles logiques.

4. Entraînement du Modèle Étudiant : Le modèle étudiant est entraîné pour imiter la représentation symbolique créée, assurant un processus de prise de décision clair.

5. Évaluation et Affinement : Après l'entraînement, les performances du modèle étudiant sont évaluées, menant à des ajustements nécessaires pour améliorer l'exactitude et la clarté.

#Comprendre les Grands Modèles de Langage

Les LLMs sont essentiels dans les tâches linguistiques et ont été des sujets brûlants ces dernières années. Ils créent de nombreuses opportunités mais suscitent aussi des inquiétudes quant à leur utilisation. Dans cette section, on va se concentrer sur l'architecture des LLMs et le processus d'entraînement impliqué.

#Architecture Transformer

L'architecture transformer forme la base de tous les LLMs. Ses caractéristiques, comme le calcul parallèle et les mécanismes d'attention, réduisent la dépendance sur les caractéristiques élaborées manuellement tout en améliorant la performance dans les tâches NLP. Tous les LLMs existants proviennent directement ou indirectement de cette architecture.

Les LLMs tombent généralement dans les architectures suivantes :

• Architecture Encodeur-Décodeur : Cela implique de transformer une entrée en un vecteur de longueur fixe et ensuite d'utiliser cette représentation pour créer une séquence de sortie. Elle se compose de deux ensembles de blocs de transformateurs : un encodeur qui traite l'entrée et un décodeur générant la sortie.

• Architecture Décodeur Causal : C'est un type d'architecture uniquement décodeur utilisé dans la modélisation du langage, où les tokens d'entrée et de sortie sont traités de manière similaire à travers le décodeur. Chaque token d'entrée peut uniquement se concentrer sur les tokens passés.

• Architecture Décodeur Préfixe : Cette architecture permet une attention bidirectionnelle sur les tokens préfixes tout en utilisant une attention unidirectionnelle uniquement sur les tokens générés. Elle peut inclure des informations bidirectionnelles dans le processus de décodage.

#Processus d'Entraînement des Grands Modèles de Langage

Le processus d'entraînement pour les LLMs se compose de deux phases principales :

1. Pré-entraînement : Cette phase implique un entraînement sur de vastes ensembles de données textuelles non étiquetées pour apprendre des modèles linguistiques généraux. Elle se concentre sur la collecte de données, le prétraitement et les tâches d'entraînement.

2. Ajustement : Cette phase adapte les LLMs pré-entraînés à des domaines ou tâches spécifiques en utilisant des exemples étiquetés ou l'apprentissage par renforcement. Elle implique deux stratégies principales : l'ajustement par instruction et l'ajustement d'alignement, qui visent à affiner les réponses du modèle.

#Processus de Distillation de Connaissance Symbolique

L'objectif de la distillation de connaissance symbolique des LLMs est de transformer les vastes connaissances dans les LLMs en formes plus interprétables et efficaces. Ce processus implique de changer la connaissance complexe au sein de modèles comme GPT-3 en représentations symboliques ou basées sur des règles.

Différentes approches pour la distillation de connaissance symbolique peuvent être catégorisées comme suit :

#Distillation Directe

Cette méthode commence par construire un prompt spécifique qui encourage les LLMs à générer des sorties encapsulant une compréhension du sens commun ou factuel. L'efficacité de cette étape repose sur la création de prompts clairs et contextuellement riches. La réponse du modèle devient un jeu complexe de motifs appris et de compréhension linguistique. Ce texte est ensuite analysé pour extraire la connaissance sous diverses formes.

#Distillation Multiniveau

Cette approche affine itérativement le transfert de connaissance d'un modèle enseignant plus grand vers un modèle étudiant plus petit. Le modèle enseignant génère une base de connaissance initiale qui est filtrée pour la qualité. Le modèle étudiant est ensuite formé sur ce dataset, générant de nouvelles connaissances qui sont à nouveau filtrées. Ce processus itératif vise à améliorer la qualité et la brièveté des connaissances distillées.

#Distillation par Apprentissage par Renforcement

Cette approche améliore les politiques des LLMs à travers un processus en deux étapes de génération et de filtrage de données. La première étape consiste à utiliser la politique actuelle du LLM pour produire des prédictions de sortie pour des contextes donnés, suivie du classement et du filtrage de ces sorties à l'aide d'un modèle de récompense appris formé sur les préférences humaines. Cela crée une boucle de rétroaction qui affine continuellement la politique du modèle vers les préférences humaines.

#Travaux Connexes en Distillation de Connaissance Symbolique

Beaucoup de recherches ont été menées pour positionner les LLMs comme des bases de connaissance. Bien qu'il existe de nombreux efforts de recherche visant à analyser la connaissance contenue dans les LLMs, l'accent mis sur la distillation de cette connaissance en forme symbolique n'a pas été suffisamment exploré.

#Base de Connaissance des LLM

Les LLMs fonctionnent bien comme bases de connaissance pour le questionnement ouvert. Ils acquièrent rapidement des connaissances linguistiques au début de la phase de pré-entraînement, mais l'intégration de la connaissance factuelle est plus lente et plus sensible aux données d'entraînement.

#Cohérence de la Connaissance dans les Modèles de Langage

Des études révèlent une incohérence préoccupante dans les modèles de langage lorsqu'ils répondent à des requêtes paraphrasées. Ce problème met en lumière les difficultés auxquelles ces modèles font face dans le traitement des faits niés.

#Édition de la Connaissance dans les Modèles de Langage

L'édition de la connaissance au sein des LLMs est devenue un domaine de recherche significatif. Plusieurs approches innovantes ont été proposées pour relever ce défi.

#Raisonnement avec la Connaissance dans les Modèles de Langage

Les capacités de raisonnement des LLMs ont été explorées de manière significative, avec de nombreuses études se concentrant sur leur capacité à apprendre différents types de règles et à répondre à des défis logiques.

#Interpréter la Connaissance dans les Modèles de Langage

Les chercheurs ont exploré différents angles pour interpréter la connaissance codée dans les LLMs, cherchant une meilleure compréhension de la manière dont ces modèles capturent et traitent l'information linguistique.

#Principales Conclusions et Leçons Tirées

À travers l'exploration de la distillation de connaissance symbolique, plusieurs conclusions et leçons ont émergé :

• Efficacité : La distillation de connaissance symbolique améliore l'efficacité des LLMs en créant des versions plus petites et gérables sans perte significative de performance.

• Raisonnement de sens commun : La transition vers un paradigme 'de la machine au corpus à la machine' marque des avancées notables dans le raisonnement de sens commun.

• Génération de données : Les LLMs montrent un potentiel pour générer des datasets diversifiés et de haute qualité bénéfiques pour développer des modèles robustes.

• Applications Inter-domaines : Les applications de la distillation de connaissance symbolique s'étendent au-delà des tâches linguistiques dans des domaines comme le raisonnement visuel.

• Ajustement par Instruction : Les techniques d'ajustement par instruction et de génération représentent un bond vers la création de systèmes d'IA intuitifs.

#Défis et Opportunités

Malgré les avancées, de nombreux défis persistent dans le domaine de la distillation de connaissance symbolique, notamment garantir la qualité des données, équilibrer l'automatisation et la supervision humaine, développer des modèles compacts sans perte de performance, un ajustement d'instruction efficace, et l'adaptabilité des modèles distillés.

S'attaquer à ces défis offre des opportunités pour davantage de recherche et d'innovation, avec l'objectif ultime de réaliser le plein potentiel de la distillation de connaissance symbolique dans des applications pratiques.