Défis de reproductibilité dans les graphes de connaissances

Les Graphes de connaissances (KGs) sont des outils utilisés pour organiser et représenter des informations de manière structurée. Ils montrent comment différentes informations se relient entre elles. Par exemple, ils peuvent aider dans des domaines comme les systèmes de recommandation, la détection de fausses informations sur la santé ou l'identification de détails sur des maladies.

Cependant, créer et maintenir des KGs peut être assez complexe. Construire un KG nécessite des compétences en conception de structures de Données, en organisation d'informations, et en s'assurant que les données sont exactes et pertinentes. Ce besoin constant de mises à jour et de vérifications ajoute au travail impliqué pour garder un KG fonctionnel.

#Importance de la Reproductibilité

Un problème clé avec les KGs est la reproductibilité. Ça veut dire pouvoir reproduire ou vérifier les informations dans un KG. Être capable de reproduire un KG est essentiel pour faire confiance aux informations qu'il fournit et pour l'utilité à long terme de ce savoir. Les KGs reproductibles soutiennent les principes de la science ouverte, permettant aux chercheurs de s'appuyer sur des connaissances existantes et assurant clarté et fiabilité dans le partage des données.

Malgré la croissance des KGs dans certains domaines, il n'y a pas eu assez d'analyses sur leur reproductibilité. Cette situation appelle à un examen plus approfondi des KGs, en se concentrant sur la façon d'évaluer leur reproductibilité.

#Résultats sur les graphes de connaissances spécifiques aux domaines

Une recherche a été menée dans 19 domaines différents, et seulement un petit nombre de KGs se sont révélés reproductibles. Sur 250 KGs étudiés, seulement huit (3,2 %) avaient un code source disponible publiquement. Parmi ces huit, un seul a réussi les tests de reproductibilité, montrant que seulement 0,4 % des KGs étudiés sont vraiment reproductibles.

Ce faible pourcentage indique des lacunes sérieuses dans la pratique actuelle de création et de partage des KGs. Cela souligne un besoin clair de recherche future et un changement dans l'approche de ces KGs.

#Qu'est-ce que les graphes de connaissances ?

Au fond, les KGs présentent des informations structurées sur des sujets spécifiques. Ils illustrent des entités (comme des personnes, des lieux ou des choses) et comment ces entités se connectent à travers diverses relations. Même s'il existe de nombreuses définitions des KGs, ils servent généralement à rassembler et partager des connaissances sur le monde réel.

La reproductibilité peut être définie comme la capacité à obtenir les mêmes résultats lorsque des expériences ou des études sont répétées par d'autres en utilisant des méthodes ou des conditions différentes. En termes informatiques, la reproductibilité signifie obtenir des résultats cohérents en utilisant les mêmes entrées et méthodes.

Des études ont montré que la reproductibilité reste un défi dans divers domaines scientifiques, y compris les sciences computationnelles. Ce défi s'étend également aux KGs, malgré leur utilité dans l'organisation des données. Un KG reproductible favorise la confiance dans les informations fournies et encourage le partage des données.

#Analyse de la reproductibilité dans les graphes de connaissances

Une étude récente a cherché à comprendre comment les KGs existants se comportent en termes de reproductibilité. L'analyse a comparé les KGs selon plusieurs critères, en se concentrant sur leur reproductibilité. Cela impliquait de vérifier une gamme de 250 KGs de différents domaines, en recherchant spécifiquement du code open-source et la possibilité de reproduire leurs résultats.

L'étude a utilisé plusieurs critères pour évaluer la reproductibilité, y compris :

• Disponibilité du code et des données
• Licences appropriées pour le code
• Persistance des identifiants comme les DOI pour le code et les données
• Accessibilité de l'environnement d'exécution
• Instructions claires pour exécuter le code
• Démonstrations en ligne des KGs
• Points de terminaison SPARQL pour interroger les données
• Régénération réussie du KG
• Informations sur la Provenance pour suivre le développement

Ces critères soulignent que le simple fait d'avoir du code ne suffit pas pour la reproductibilité. Des instructions claires, un environnement accessible et l'accès aux données sont aussi cruciaux.

#Méthodologie de l'enquête

La recherche a commencé par une recherche de « graphe de connaissances de domaine » sur Google Scholar, couvrant les articles jusqu'à la fin de 2021. Cette recherche a identifié de nombreux articles, qui ont ensuite été filtrés pour trouver ceux pertinents axés sur la construction de KGs.

Après avoir éliminé les doublons et affiné les sélections basées sur des critères spécifiques, 250 articles ont été identifiés. Chaque article identifié a ensuite été examiné pour vérifier la présence de code open-source. C'était surprenant que seulement huit articles contiennent du code disponible publiquement.

Le processus de recherche a veillé à ce que chaque référentiel de KG soit examiné pour vérifier à la fois la disponibilité du code et la complétude de la documentation fournie.

#Perspectives de l'étude

L'étude révèle quelques informations critiques :

1. Seulement 3,2 % des KGs sélectionnés offraient du code open-source, ce qui indique un besoin de plus de soutien pour les pratiques de science ouverte.
2. Un seul des sept KGs open-source a pu être exécuté avec succès, démontrant que seulement 0,4 % sont reproductibles.
3. La disponibilité du code seul ne garantit pas la reproductibilité ; avoir des instructions claires et un environnement d'exécution accessible est tout aussi important.
4. Beaucoup de KGs manquaient de suivi approprié de leur construction, rendant la reproductibilité encore plus compliquée.

#Graphes de connaissances existants avec code open-source

Parmi les rares KGs qui proposaient du code open-source, plusieurs cas intéressants ont été examinés :

• CKGG se concentre sur les connaissances géographiques, contenant des milliards de points de données assemblés à partir de diverses sources.
• CROssBAR-KG présente des relations entre des termes biologiques et peut être interrogé en fonction de l'entrée de l'utilisateur.
• ETKG modélise des événements liés au tourisme, tirant des données de nombreuses notes de voyage recueillies en ligne.
• FarsBase est un KG en langue farsi qui compile des informations de Wikipedia et est accessible au format structuré.
• GAKG est un grand KG construit à partir de publications en géosciences, qui est fréquemment mis à jour et peut être interrogé.
• MDKG combine des données de diverses bases de données sur les microbes et les maladies.
• Ozymandias est un KG de biodiversité qui intègre des données sur la faune australienne de plusieurs ressources.
• RTX-KG2 permet aux utilisateurs de construire et d'héberger un graphe de connaissances biomédical et est soutenu par un large éventail de données biomédicales.

#Directions futures pour la recherche

Les résultats de cette étude soulignent la nécessité d'une recherche plus axée sur la reproductibilité des KGs. Un domaine important à explorer est la manière dont les KGs documentent leurs processus de développement. Cela pourrait inclure la tenue de dossiers détaillés sur les sources de données, le code utilisé et les méthodologies suivies.

Avoir des informations de provenance complètes aidera les chercheurs à reproduire les résultats des KG plus facilement et à garder les KGs alignés avec les sources de données changeantes.

En conclusion, le potentiel pour rendre les graphes de connaissances plus reproductibles est énorme, mais cela nécessite des efforts collaboratifs pour améliorer l'accès aux ressources, la documentation et les pratiques globales dans la communauté scientifique.