Exploiter les modèles de langage pour les tâches de data mining

Le Process Mining, c'est l'analyse des Données d'événements des processus business pour comprendre comment ils se déroulent. Dernièrement, des chercheurs ont remarqué que les grands modèles de langage (LLMs), un type d'intelligence artificielle, pourraient être utiles pour des tâches de process mining. Les premières études suggèrent que ces modèles peuvent aider à analyser les processus et même réfléchir sur leur fonctionnement. Cette capacité ouvre de nouvelles possibilités pour utiliser les LLMs dans des tâches qui nécessitent de comprendre comment les processus se comportent, comme détecter des activités inhabituelles et prédire les prochaines étapes d'un processus.

Dans cet article, on va voir dans quelle mesure les LLMs peuvent effectuer des tâches liées à la compréhension du comportement et de la sémantique des processus. On se concentre sur trois tâches spécifiques qui nécessitent cette compréhension : déterminer si une séquence d'activités est valide, évaluer si l'ordre des activités est correct, et prédire la prochaine activité dans un processus. On fournit des ensembles de données pour ces tâches et on évalue les performances de différents modèles.

#Le rôle des modèles de langage dans le process mining

Les modèles de langage sont formés pour comprendre et générer le langage humain. Ils peuvent apprendre à partir de grandes quantités de texte et peuvent être affinés pour réaliser des tâches spécifiques. Dans le process mining, les LLMs peuvent potentiellement analyser des données et aider les analystes à mieux comprendre les processus. Ils peuvent décrire des processus avec du texte, répondre à des questions liées aux données d'événements, et aider à formuler des requêtes pour l'analyse des données.

Les LLMs sont particulièrement utiles grâce à leurs fortes capacités de compréhension du langage, leur permettant de prendre en compte le sens des activités et leurs relations quand ils travaillent sur des tâches comme détecter des anomalies ou prédire les prochaines étapes.

#Défis de l'utilisation des LLMs dans le process mining

Bien que les LLMs montrent du potentiel, les utiliser directement sans aucune modification ne donne pas de bons résultats pour des tâches de process mining plus complexes. Ils peinent à bien performer quand on leur donne seulement quelques exemples de ce qu'il faut faire. Mais, lorsqu’ils sont affinés pour des tâches spécifiques, ils peuvent améliorer considérablement leurs performances, dépassant souvent des modèles plus petits qui n'ont pas autant de paramètres.

#Comprendre les modèles de processus et les données d'événements

Le process mining implique de comprendre divers éléments comme les modèles de processus, les données d'événements, et comment les activités se rapportent les unes aux autres.

Un modèle de processus représente les comportements autorisés dans un processus business, défini par un ensemble d'activités qui peuvent être réalisées. Chaque exécution d'un processus, appelée un trace, est une séquence d'activités qui indique comment un processus a été réellement exécuté.

Les données d'événements sont collectées sous forme de journaux d'événements, enregistrant les séquences d'activités qui ont eu lieu. Les chercheurs utilisent ces journaux pour analyser comment les processus performent et identifier les écarts par rapport à un comportement attendu.

#Définir des tâches sensibles à la sémantique

Dans cet article, on se concentre sur trois tâches qui nous permettent d'évaluer comment les modèles de langage gèrent le process mining en tenant compte de la sémantique des activités :

1. Validité des séquences d'activités : Cette tâche évalue si une séquence d'activités représente une exécution correcte d'un processus.

2. Ordre d'exécution : Cette tâche détermine si l'ordre de deux activités est valide en fonction des règles du processus.

3. Prédiction de la prochaine activité : Cette tâche prédit quelle activité devrait venir ensuite dans une séquence en fonction des activités déjà réalisées.

Ces tâches sont conçues pour tester la compréhension du modèle sur le comportement des processus sans s'appuyer sur les données historiques d'événements, soulignant ainsi l'importance de savoir comment les processus fonctionnent typiquement.

#Détection des anomalies sémantiques

La Détection d'anomalies dans le process mining vise à trouver des comportements qui ne correspondent pas aux normes établies. Les méthodes traditionnelles cherchent souvent des valeurs aberrantes statistiques, mais cela peut manquer des problèmes sémantiques importants. La détection d'anomalies sémantiques se concentre sur l'identification de comportements qui n'ont pas de sens d'un point de vue du processus.

Par exemple, si un paiement est traité avant qu'une commande ne soit confirmée, cela serait considéré comme un comportement anormal parce que cela ne s'aligne pas avec le flux logique du processus. Détecter ces types d'anomalies nécessite une compréhension plus profonde de la sémantique du processus, que les LLMs peuvent fournir une fois correctement entraînés.

#Création d'un ensemble de données pour l'évaluation

Pour évaluer comment les LLMs peuvent accomplir ces tâches, on a créé un ensemble de données basé sur des modèles de processus. On a utilisé une collection de diagrammes de processus graphiques pour générer des représentations textuelles des divers comportements de processus. Chaque diagramme sélectionné a été transformé en séquences d'activités capturant les exécutions valides du processus.

À partir de ce corpus, on a développé des ensembles de données spécifiques adaptés à chacune des trois tâches. Chaque ensemble de données comprend des instances pour entraîner et tester les modèles, ce qui nous permet d'évaluer leurs performances de manière précise.

#Configuration expérimentale

On a testé divers modèles, y compris des LLMs et des modèles de langage plus petits, basés sur des encodeurs, sur nos tâches. Pour chaque modèle, on a comparé leurs performances dans deux scénarios : lorsqu'ils étaient utilisés sans aucune formation supplémentaire et lorsqu'ils étaient affinés spécifiquement pour les tâches.

En termes de réglages d'apprentissage, on a utilisé l'apprentissage contextuel (ICL) pour les tâches où les modèles ne pouvaient s'appuyer que sur quelques exemples, et l'affinage pour les scénarios où les modèles étaient entraînés sur des données spécifiques aux tâches.

#Résultats de l'évaluation

Nos résultats montrent que les LLMs ne performent pas bien sur les tâches utilisées sans affinage. Dans les paramètres ICL, ils ont obtenu des résultats qui étaient juste un peu meilleurs que des choix aléatoires. Cependant, une fois affinés, ils ont montré des améliorations significatives, dépassant souvent leurs homologues plus petits.

Par exemple, sur la tâche d'évaluation des séquences d'activités, les LLMs affinés ont obtenu des scores beaucoup plus élevés que lorsqu'ils étaient laissés non modifiés. Il est devenu clair que même si les LLMs pourraient initialement avoir du mal avec ces tâches, ils peuvent grandement bénéficier d'un entraînement ciblé.

#Analyse des performances

On a remarqué des différences de performance entre les tâches. Les modèles ont mieux performé dans les activités axées sur l'identification de relations spécifiques entre les activités que dans celles nécessitant une évaluation globale d'un trace de processus. Prédire la prochaine activité s'est avéré être le plus difficile, car cela nécessite non seulement une compréhension correcte des activités précédentes, mais aussi le contexte du processus dans son ensemble.

Pendant l'évaluation, on a observé que même si les LLMs excellaient à reconnaître les processus standards, ils pouvaient faiblir face à des processus spécialisés ou non traditionnels. Cette inconsistance souligne l'importance du contexte et la nécessité d'un affinement continu des modèles.

#Conclusion

En résumé, notre étude montre que les LLMs ont du potentiel pour aider dans les tâches de process mining qui exigent une compréhension de la sémantique. Bien qu'ils luttent dans une application directe et non entraînée, un entraînement ciblé via l'affinage peut donner d'excellentes performances.

En regardant vers l'avenir, intégrer les LLMs avec les méthodes de process mining existantes pourrait renforcer les capacités globales d'analyse des processus. Si les LLMs pouvaient être entraînés pour signaler des prédictions absurdes ou guider les analystes, cela pourrait améliorer considérablement la manière dont les organisations analysent et optimisent leurs processus.

Pour aller de l'avant, on prévoit de continuer à rechercher comment les LLMs peuvent travailler aux côtés des techniques traditionnelles de process mining, créant ainsi une approche collaborative pour mieux comprendre et gérer les processus business.

Notre travail contribue à un corpus croissant de connaissances qui cherche à fusionner l'intelligence artificielle avec l'analyse des processus, ouvrant la voie à des systèmes plus intelligents et réactifs capables de s'adapter aux dynamiques complexes des organisations modernes.