Techniques innovantes pour améliorer les graphes de connaissances

Les Graphes de connaissances sont des outils utilisés pour partager des infos à travers différents domaines. Ils se composent d'Entités, qui peuvent être n'importe quoi comme des personnes ou des lieux, et des relations entre elles. Beaucoup de graphes de connaissances incluent aussi des infos littérales, comme des descriptions, des chiffres, ou des images liées à ces entités. Par exemple, un graphe de connaissances pourrait contenir une description de la ville de Mannheim avec sa population et une image d'un monument célèbre.

La plupart des méthodes pour créer des représentations numériques de ces entités se concentrent uniquement sur les relations entre elles. Elles collectent des données à partir de ces relations mais ignorent souvent des infos précieuses trouvées dans les descriptions littérales ou les images. Inclure cette info supplémentaire pourrait aider à créer des représentations plus précises des entités.

Bien qu'il existe des méthodes qui prennent en compte les infos littérales, elles ont souvent des limitations. Elles ont tendance à se concentrer uniquement sur un type de littéral, comme le texte ou les chiffres, et ne peuvent pas fonctionner efficacement avec diverses méthodes d'embedding.

Cet article présente un ensemble d'opérateurs universels pour préparer des graphes de connaissances contenant des infos littérales, les rendant adaptés à différents types de données. Ces opérateurs peuvent gérer du texte, des chiffres, des dates et des images, transformant le graphe de connaissances original en un qui peut être utilisé avec n'importe quelle méthode d'embedding. Les tests ont montré que ces nouvelles préparations peuvent améliorer les résultats des Embeddings de graphes de connaissances.

#Contexte

Les graphes de connaissances sont populaires pour représenter des informations provenant de domaines divers. Ils contiennent un mélange d'entités et de leurs relations, ainsi que des infos littérales comme des descriptions textuelles et des données numériques. Par exemple, un graphe de connaissances pourrait représenter la ville de Mannheim par son nom, sa population et une image d'un site historique.

Beaucoup de méthodes existantes pour intégrer des graphes de connaissances se concentrent uniquement sur les relations entre les entités. Dans l'exemple de Mannheim, la plupart des méthodes utiliseraient seulement son nom et sa population, ignorant d'autres infos utiles présentes dans les descriptions littérales ou les images. Cette négligence pourrait signifier manquer des détails clés qui pourraient améliorer la qualité des représentations créées.

Bien que certaines nouvelles approches commencent à considérer les infos littérales, elles se concentrent souvent sur un seul type et pourraient ne pas être adaptables à différentes méthodes d'embedding.

#Notre approche

Cet article présente un ensemble d'opérateurs de Prétraitement qui peuvent transformer efficacement des graphes de connaissances contenant différents types d'infos littérales en graphes qui n'incluent que des relations. En faisant cela, les graphes modifiés peuvent être utilisés avec n'importe quelle méthode d'embedding. Nous avons examiné différentes techniques de prétraitement pour des littéraux textuels, numériques et d'images qui peuvent travailler ensemble avec n'importe quel modèle d'embedding.

#Travaux connexes

De nombreux benchmarks courants pour les embeddings de graphes de connaissances n'incluent pas d'infos littérales. Par conséquent, ce sujet a reçu moins d'attention par rapport aux méthodes se concentrant uniquement sur des graphes de connaissances relationnels.

Un sondage de 2021 discute de diverses approches qui s'appuient principalement sur des modèles d'embedding de graphes de connaissances établis. La plupart de ces modèles sont des adaptations de modèles classiques comme TransE. Bien que ces adaptations modifient la fonction de perte sous-jacente du modèle, elles restent liées à leurs modèles spécifiques. Une exception est une méthode appelée LiteralE, qui a été appliquée à plusieurs modèles d'embedding. Cependant, la plupart de ces méthodes se concentrent encore sur un seul type de littéral.

Un sondage plus récent confirme ces résultats. En revanche, le travail présenté dans cet article propose une méthode pour prétraiter des graphes de connaissances incluant des données littérales. Cette approche vise à créer un graphe qui contient uniquement des relations tout en représentant les infos trouvées dans les littéraux.

Certaines implémentations, comme pyRDF2vec, peuvent extraire les littéraux directement comme caractéristiques. Cela résulte en une combinaison d'un embedding et de données littérales supplémentaires, mais ça manque d'une représentation uniforme. Au lieu de cela, notre but est de modifier d'abord le graphe, transformant les données littérales en déclarations relationnelles.

Bien que les méthodes de prétraitement soient encore rares, certains chercheurs ont utilisé des stratégies comme le regroupement de valeurs numériques. Nous incorporons certaines de ces idées dans notre travail, ainsi que des stratégies supplémentaires pour le prétraitement des littéraux.

#Opérateurs de prétraitement

Nous nous concentrons sur l'augmentation du graphe de connaissances plutôt que de changer la méthode d'embedding elle-même. Cette approche implique d'ajouter des nœuds et des arêtes supplémentaires qui représentent certaines des informations contenues dans les littéraux. Dans notre cadre, les étapes d'embedding et d'augmentation sont séparées des phases de classification et d'évaluation.

Pour nos expériences, nous avons considéré des problèmes liés à la classification des nœuds, mais d'autres tâches, comme la prédiction de liens ou le clustering, pourraient aussi bénéficier de nos stratégies de prétraitement.

#Gestion des littéraux numériques

Créer une entité unique pour chaque littéral numérique peut poser des défis quand il s'agit de comprendre le sens de ces valeurs. Par exemple, il devient difficile de différencier entre deux valeurs numériques très similaires et deux valeurs qui sont assez différentes. Pour surmonter cela, nous utilisons plusieurs techniques pour présenter les littéraux numériques, y compris une méthode connue sous le nom de regroupement.

La base de notre stratégie de regroupement est de classer les valeurs numériques en groupes en fonction de leur plage. Une autre méthode permet aux utilisateurs de spécifier un pourcentage de valeurs uniques lors de la création des regroupements. Le regroupement aide à résumer l'information et à améliorer la compréhension globale des données.

De plus, nous détectons et supprimons les valeurs aberrantes avant d'appliquer la stratégie de regroupement. Si une valeur est significativement différente des autres, cela pourrait avoir un impact négatif sur la façon dont nous catégorisons les autres valeurs.

Nous prenons également en compte différents types d'objets qui peuvent partager la même propriété. Par exemple, une propriété comme la hauteur pourrait s'appliquer à la fois aux personnes et aux bâtiments, qui ont des plages de hauteur différentes. Par conséquent, nous considérons les différents ensembles de relations liés à chaque type d'objet lors de la création de nos regroupements.

#Gestion des littéraux temporels

Pour traiter les dates, nous adoptons une tactique différente. Nous convertissons la date en un timestamp et ensuite appliquons l'approche de regroupement. Cependant, cette méthode ne capture pas entièrement toutes les nuances d'une date. Par exemple, deux personnes peuvent partager le même anniversaire mais venir d'années différentes. Pour y remédier, nous extrayons des fonctionnalités supplémentaires de la date, ce qui nous permet de construire une représentation plus détaillée.

Les nouvelles entités créées à partir de ces caractéristiques peuvent être interconnectées, aidant à montrer les relations entre différents aspects de la date, comme les jours, les mois et les trimestres.

#Gestion des littéraux textuels

Les infos textuelles apparaissent souvent dans les graphes de connaissances mais sont difficiles à représenter efficacement. Pour y remédier, nous utilisons la modélisation de sujets, qui identifie les principaux sujets au sein des littéraux textuels. Chaque sujet est ensuite représenté comme un nœud dans le graphe, permettant une meilleure compréhension du contenu.

Pour ce processus, nous analysons toutes les valeurs d'un littéral textuel à l'aide d'un algorithme de modélisation de sujets. Nous connectons chaque entité aux sujets qui dépassent un seuil défini, aidant à illustrer la relation entre le texte et les sujets identifiés.

#Gestion des littéraux d'image

Les images dans les graphes de connaissances peuvent également être difficiles à représenter. Nous utilisons un réseau de neurones pré-entraîné qui peut classer des images en fonction de leur contenu. En prédisant des étiquettes pour chaque image, nous transformons l'information en nœuds compréhensibles qui décrivent ce que montrent les images.

Dans nos expériences, nous utilisons un modèle de classification d'image reconnu pour catégoriser les images. Chaque image peut alors être représentée par la classe la plus probable, fournissant une description plus claire dans le graphe de connaissances.

#Changements de taille dans les graphes de connaissances

Lorsque nous appliquons ces techniques de prétraitement, la taille du graphe de connaissances résultant peut changer. Nous examinons le nombre d'entités et de déclarations après avoir transformé les données. Les résultats montrent que bien que le nombre de déclarations reste similaire à celui du graphe de connaissances original, le nombre d'entités peut varier.

#Expériences et résultats

Pour nos expériences, nous avons testé toutes les approches de prétraitement sur un ensemble de données de référence, qui contient différents ensembles de données. Nous avons utilisé différentes méthodes d'embedding et classificateurs pour évaluer les résultats.

Nous avons entraîné les méthodes d'embedding sur la base de paramètres définis, ce qui nous a permis d'observer à quel point nos stratégies de prétraitement amélioraient les résultats. Les expériences visaient à identifier quelles stratégies offraient la meilleure performance globale.

Nos résultats indiquent que différentes stratégies ont bien fonctionné pour chaque type de littéral. Dans de nombreux cas, les techniques de prétraitement nous ont permis d'améliorer les résultats par rapport aux baselines.

Fait intéressant, il n'y avait pas de lien évident entre le nombre de littéraux d'un type spécifique et les améliorations obtenues grâce à l'inclusion de cette information. Cela suggère que l'efficacité des données littérales dépend de leur qualité plutôt que de leur quantité.

Nous avons également noté que certaines approches de base étaient de solides concurrents, indiquant que la simple présence d'un littéral peut être un signal utile, même sans considérer sa valeur spécifique.

#Conclusion et travaux futurs

En résumé, nous avons démontré que l'utilisation de techniques de prétraitement pour représenter des infos littérales dans les graphes de connaissances peut améliorer significativement les résultats d'embedding. Notre approche permet de la flexibilité, car l'ensemble des opérateurs de prétraitement peut être élargi ou affiné à l'avenir.

À l'avenir, nous pouvons continuer à améliorer nos méthodes de représentation textuelle et d'image en intégrant des modèles avancés. Différentes étapes peuvent également être employées pour traiter le texte ou les images efficacement, améliorant la qualité globale.

De plus, nos méthodes créent non seulement de nouvelles entités mais fournissent également des scores pour les représentations. Cela signifie que nous pouvons considérer ces scores comme des poids lors de l'embedding des données. Globalement, nos résultats ouvrent vers des opportunités passionnantes pour le développement et la recherche futurs dans ce domaine.