Améliorer les insights business avec des modèles de langage
Cet article parle de comment les modèles de langue améliorent les explications des processus d'affaires.
― 12 min lire
Table des matières
- Qu'est-ce que les grands modèles de langage ?
- L'importance des explications dans les processus d'affaires
- eXplicabilité consciente de la situation (SAX)
- Présentation du cadre SAX4BPM
- Le rôle des Relations Causales
- Répondre aux préoccupations concernant les LLMs
- Évaluation méthodologique
- Comprendre l'étude utilisateur
- Principales conclusions
- Vue d'ensemble de la gestion des processus d'affaires
- Le besoin d'amélioration des explications
- Présentation des explications SAX
- Exploration de la bibliothèque SAX4BPM
- Utilisation des graphes de connaissances
- Étapes du processus d'explication
- Extraction des connaissances sur les processus
- Découverte des relations causales
- Enrichissement des connaissances contextuelles
- Analyse de l'importance des caractéristiques
- Synthèse des connaissances pour l'entrée au LLM
- Exemple illustratif : Amendes de stationnement
- Découverte du modèle de processus
- Découverte des dépendances causales
- Enrichissement contextuel
- Analyse de l'importance des caractéristiques
- Génération de l'explication
- Étude utilisateur et questions de recherche
- Conception de l'enquête et démographie des participants
- Développement d'une échelle pour mesurer la qualité des explications
- Principaux concepts : Fidélité et interprétabilité
- Résultats des retours utilisateurs
- Le besoin d'explications équilibrées
- Limites et orientations futures
- Conclusion
- Source originale
- Liens de référence
Les Grands Modèles de Langage (LLMs) sont des outils qui aident à générer du texte qui ressemble à de l'écriture humaine. Ils sont utilisés dans plein d'entreprises pour automatiser différentes tâches. Ces modèles peuvent aider à mieux comprendre les processus d'affaires, ce qui est important pour améliorer le fonctionnement des entreprises.
Qu'est-ce que les grands modèles de langage ?
Les grands modèles de langage sont des programmes informatiques avancés entraînés sur d'énormes quantités de texte. Ils apprennent à générer un texte cohérent basé sur les inputs qu'ils reçoivent. Ces modèles sont non seulement bons pour écrire, mais aussi pour répondre à des questions, résumer des textes et traduire des langues. Alors que les entreprises s'appuient de plus en plus sur l'automatisation et l'intelligence artificielle (IA), les LLMs deviennent cruciaux pour gérer efficacement les processus d'affaires.
L'importance des explications dans les processus d'affaires
Quand les entreprises adoptent l'IA dans leurs processus, il est essentiel que les utilisateurs comprennent comment les décisions sont prises. Cette compréhension aide les utilisateurs à faire confiance aux systèmes d'IA. Fournir des explications claires sur pourquoi une décision a été prise est vital pour garantir la confiance dans les systèmes d'IA.
Les explications aident les utilisateurs à réagir correctement aux différentes situations qui se présentent durant les opérations commerciales. Elles doivent donner des aperçus sur ce qui s'est passé, pourquoi cela s'est produit, et ce qui peut être fait ensuite. De bonnes explications peuvent conduire à une meilleure prise de décision et à des améliorations continues des processus.
SAX)
eXplicabilité consciente de la situation (SAX est un système conçu pour fournir des explications claires et compréhensibles en fonction du contexte d'un processus d'affaires. Cette approche vise à générer des explications qui sont non seulement précises mais aussi faciles à comprendre pour les utilisateurs. SAX prend en compte les conditions spécifiques sous lesquelles un processus d'affaires fonctionne, garantissant que les explications sont pertinentes et pratiques.
Présentation du cadre SAX4BPM
Le cadre SAX4BPM est un ensemble d'outils qui aident à créer ces explications claires. Il comprend un référentiel central de connaissances et des services qui rassemblent les informations nécessaires pour générer des explications. Ce système s'intègre aux LLMs pour produire des explications qui combinent diverses entrées, améliorant ainsi leur qualité.
Relations Causales
Le rôle desUne partie clé de la création d'explications efficaces implique de comprendre les relations causales entre les actions dans un processus d'affaires. En identifiant ces relations, nous pouvons expliquer pourquoi certains résultats se sont produits. Cette vue causale est cruciale pour améliorer la qualité des explications fournies par les LLMs.
Répondre aux préoccupations concernant les LLMs
Malgré leurs capacités impressionnantes, les LLMs ont aussi des limites. Ils peuvent générer des informations qui peuvent ne pas être factuelles, connues sous le nom de "hallucination". Cela soulève des préoccupations quant à leur fiabilité dans des situations pratiques. Il est donc important d'évaluer la qualité des explications produites par les LLMs, en s'assurant qu'elles sont à la fois précises et dignes de confiance.
Évaluation méthodologique
Nous avons développé une méthode systématique pour évaluer la qualité des explications générées par les LLMs. Ce processus d'évaluation a impliqué de demander aux utilisateurs de noter les explications en fonction de leur clarté et de leur précision. Les retours nous ont donné un aperçu de la manière dont les LLMs pouvaient répondre aux attentes pour fournir des explications utiles dans des contextes d'affaires.
Comprendre l'étude utilisateur
Pour évaluer comment les explications générées par les LLMs se comportaient, nous avons mené une étude utilisateur. Les participants ont reçu différents types d'explications basées sur des entrées variées au LLM. En analysant leurs réponses, nous avons cherché à déterminer comment les différentes entrées affectaient la qualité perçue des explications.
Principales conclusions
Nos résultats ont montré que la manière dont nous présentons l'information au LLM compte. Quand on lui donnait plus de contexte sur le processus d'affaires, les utilisateurs trouvaient les explications plus précises. Cependant, il y avait aussi un compromis ; tandis que les explications devenaient plus dignes de confiance, elles devenaient parfois plus difficiles à comprendre.
Vue d'ensemble de la gestion des processus d'affaires
Gérer des processus d'affaires implique de s'assurer qu'une entreprise fonctionne bien vers ses objectifs. Cela inclut la planification, l'exécution et le suivi des différentes tâches de manière efficace. Alors que les entreprises cherchent à améliorer ces processus, elles se tournent de plus en plus vers l'IA pour obtenir de l'aide.
Le besoin d'amélioration des explications
Des explications efficaces sont essentielles pour impulser les améliorations des processus d'affaires. Les processus d'affaires génèrent beaucoup de données, et comprendre ces données est crucial pour prendre des décisions éclairées. Beaucoup de méthodes existantes pour générer des explications ne capturent pas pleinement les complexités des processus d'affaires, ce qui mène à des résultats insatisfaisants.
Présentation des explications SAX
Les explications SAX sont conçues pour fournir des aperçus qui prennent en compte le contexte d'affaires. Elles décrivent pourquoi certains résultats se sont produits, les reliant aux actions spécifiques prises pendant le processus. Cette approche garantit que les explications restent pratiques et exploitables pour les utilisateurs, améliorant ainsi leur pertinence.
Exploration de la bibliothèque SAX4BPM
La bibliothèque SAX4BPM est conçue pour automatiser la génération des explications SAX. Elle comprend des services qui rassemblent les informations nécessaires à partir de sources de données pour créer des récits cohérents. Ces services travaillent ensemble pour s'assurer que la sortie est informative et en phase avec le contexte d'affaires.
Utilisation des graphes de connaissances
Un graphe de connaissances est une manière d'organiser et de stocker des informations. Dans la bibliothèque SAX4BPM, nous utilisons des graphes de connaissances pour représenter les relations entre différents points de données. Cette organisation permet une récupération et une synthèse plus faciles des informations lors de la génération d'explications.
Étapes du processus d'explication
Le processus de génération d'explications SAX implique plusieurs étapes. D'abord, nous rassemblons les données nécessaires à partir des processus d'affaires. Ensuite, nous analysons ces données pour identifier les relations clés et les caractéristiques qui ont un impact sur les résultats. Enfin, nous synthétisons cette information en un récit clair qui explique les conditions du processus d'affaires.
Extraction des connaissances sur les processus
Un des services de la bibliothèque SAX4BPM est axé sur l'extraction de connaissances à partir des journaux d'événements. Cela implique d'analyser des données historiques pour construire un modèle du processus d'affaires. En comprenant comment les événements passés sont liés, nous pouvons mieux expliquer les résultats actuels.
Découverte des relations causales
Un autre service extrait les relations causales à partir des données. Ce service aide à identifier comment différentes activités s'influencent mutuellement dans le processus d'affaires, fournissant des aperçus qui peuvent guider les décisions futures.
Enrichissement des connaissances contextuelles
Le contexte est crucial pour générer des explications précises. En enrichissant le journal d'événements avec des informations contextuelles supplémentaires, nous pouvons améliorer la qualité des explications. Les mécanismes de service enrichissent les explications en incorporant des données pertinentes qui affectent les résultats du processus.
Analyse de l'importance des caractéristiques
La bibliothèque SAX4BPM identifie aussi quels facteurs sont les plus significatifs durant les processus d'affaires. En se concentrant sur les caractéristiques pertinentes, nous pouvons fournir une image plus claire de ce qui influence les résultats, aidant ainsi le processus d'explication.
Synthèse des connaissances pour l'entrée au LLM
Les entrées fournies aux LLMs sont élaborées en synthétisant divers éléments de connaissances rassemblés dans les étapes précédentes. Cette composition des entrées sert de fondation pour générer l'explication qui répond aux questions des utilisateurs sur des conditions spécifiques dans le processus d'affaires.
Exemple illustratif : Amendes de stationnement
Pour démontrer les capacités du système SAX4BPM, nous avons examiné le processus d'émission des amendes de stationnement. Des données ont été générées pour refléter les étapes impliquées quand un véhicule est garé dans une zone interdite. La tâche était de comprendre pourquoi le traitement de ces amendes a pris plus de temps que prévu.
Découverte du modèle de processus
La première étape a impliqué d'utiliser le service d'extraction pour construire un modèle du processus des amendes de stationnement. Ce modèle représente visuellement la séquence des activités impliquées dans la gestion des violations de stationnement, nous permettant de voir où des retards peuvent se produire.
Découverte des dépendances causales
Ensuite, nous avons utilisé le service causal pour explorer les relations entre les actions prises durant le processus des amendes de stationnement. Cela nous a aidés à comprendre quelles activités étaient liées et comment leur timing influençait le temps de traitement global.
Enrichissement contextuel
Nous avons ensuite enrichi le journal d'événements avec des informations contextuelles supplémentaires, comme des informations sur les conducteurs et les circonstances entourant l'incident de stationnement. Ce contexte a fourni une compréhension plus profonde de la manière dont des facteurs externes influençaient le traitement des amendes.
Analyse de l'importance des caractéristiques
L'importance des caractéristiques a été analysée pour identifier les facteurs qui ont le plus significativement affecté les temps de traitement. Comprendre quels éléments ont joué un rôle a donné un aperçu des domaines potentiels à améliorer.
Génération de l'explication
Enfin, nous avons synthétisé toutes les informations rassemblées en une explication répondant à la question pourquoi les amendes ont pris plus de temps à être traitées. Le récit produit a mis en avant des facteurs clés, fournissant une compréhension claire de la situation.
Étude utilisateur et questions de recherche
Nous voulions explorer comment différentes entrées affectaient la qualité perçue des explications générées par les LLMs. Notre recherche s'est concentrée sur la compréhension de la relation entre les connaissances sur les processus, les informations causales et les perceptions des utilisateurs sur la qualité des explications.
Conception de l'enquête et démographie des participants
Une enquête a été menée avec des participants de divers horizons qui ont fourni des retours sur les explications. Nous avons rassemblé des informations démographiques pour assurer une représentation diversifiée des opinions sur les récits générés.
Développement d'une échelle pour mesurer la qualité des explications
Une échelle a été développée pour évaluer la qualité des explications sur la base de facteurs comme la clarté et la précision. En utilisant cette échelle, nous avons pu analyser quantitativement les retours reçus des participants.
Principaux concepts : Fidélité et interprétabilité
Deux concepts principaux ont été évalués : la fidélité, qui se réfère à la manière dont une explication représente avec précision le modèle sous-jacent, et l'interprétabilité, qui mesure à quel point les explications sont compréhensibles pour les utilisateurs.
Résultats des retours utilisateurs
L'analyse des retours des utilisateurs a fourni des aperçus intéressants. Les participants ont généralement préféré les explications qui combinaient plusieurs types de connaissances, bien qu'ils aient parfois eu du mal avec la clarté lorsque du contexte supplémentaire a été introduit.
Le besoin d'explications équilibrées
Un point important à retenir de l'étude utilisateur était la nécessité d'équilibrer le détail fourni dans les explications avec la clarté. Bien que des informations supplémentaires améliorent la fidélité, elles pouvaient compliquer l'interprétabilité des explications.
Limites et orientations futures
Notre recherche a mis en évidence le potentiel prometteur des explications SAX, mais a aussi révélé des domaines qui nécessitent d'être explorés davantage. Les travaux futurs pourraient inclure plus de manipulations des types de connaissances et affiner davantage l'équilibre entre détail et clarté.
Conclusion
L'intégration des LLMs dans la gestion des processus d'affaires a le potentiel de révolutionner le fonctionnement des organisations. En automatisant la génération d'explications, les entreprises peuvent améliorer la compréhension et la confiance dans les systèmes d'IA. Il est vital, cependant, de s'assurer que ces explications restent claires et exploitables pour les utilisateurs. De futures recherches continueront d'affiner ces systèmes, garantissant qu'ils fournissent des aperçus efficaces et dignes de confiance sur les opérations commerciales.
Titre: How well can large language models explain business processes as perceived by users?
Résumé: Large Language Models (LLMs) are trained on a vast amount of text to interpret and generate human-like textual content. They are becoming a vital vehicle in realizing the vision of the autonomous enterprise, with organizations today actively adopting LLMs to automate many aspects of their operations. LLMs are likely to play a prominent role in future AI-augmented business process management systems, catering functionalities across all system lifecycle stages. One such system's functionality is Situation-Aware eXplainability (SAX), which relates to generating causally sound and human-interpretable explanations. In this paper, we present the SAX4BPM framework developed to generate SAX explanations. The SAX4BPM suite consists of a set of services and a central knowledge repository. The functionality of these services is to elicit the various knowledge ingredients that underlie SAX explanations. A key innovative component among these ingredients is the causal process execution view. In this work, we integrate the framework with an LLM to leverage its power to synthesize the various input ingredients for the sake of improved SAX explanations. Since the use of LLMs for SAX is also accompanied by a certain degree of doubt related to its capacity to adequately fulfill SAX along with its tendency for hallucination and lack of inherent capacity to reason, we pursued a methodological evaluation of the perceived quality of the generated explanations. We developed a designated scale and conducted a rigorous user study. Our findings show that the input presented to the LLMs aided with the guard-railing of its performance, yielding SAX explanations having better-perceived fidelity. This improvement is moderated by the perception of trust and curiosity. More so, this improvement comes at the cost of the perceived interpretability of the explanation.
Auteurs: Dirk Fahland, Fabiana Fournier, Lior Limonad, Inna Skarbovsky, Ava J. E. Swevels
Dernière mise à jour: 2024-12-23 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2401.12846
Source PDF: https://arxiv.org/pdf/2401.12846
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.latex-project.org/lppl.txt
- https://pygments.org/
- https://pypi.python.org/pypi/Pygments
- https://www.forrester.com/report/forresters-q3-2022-digital-process-automation-survey-results-organizations-respond-to-the-automation-imperative/RES178220
- https://www.marketwatch.com/press-release/
- https://github.com/IBM/SAX4bpm/notebook/demo.ipynb
- https://chat.openai.com
- https://bimp.cs.ut.ee/simulator/
- https://kardsort.com/
- https://data.4tu.nl/articles/dataset/BPI_Challenge_2017/12696884
- https://github.com/IBM/SAX/tree/main/KDE-SI-2024/survey
- https://github.com/borisveytsman/acmart
- https://www.ctan.org/tex-archive/macros/latex/contrib/els-cas-templates