Sprachmodelle für Process Mining Aufgaben nutzen

Process Mining ist die Analyse von Ereignisdaten aus Geschäftsprozessen, um zu verstehen, wie sie durchgeführt werden. Kürzlich haben Forscher festgestellt, dass grosse Sprachmodelle (LLMs), eine Art künstlicher Intelligenz, nützlich für Process-Mining-Aufgaben sein könnten. Erste Studien deuten darauf hin, dass diese Modelle helfen können, Prozesse zu analysieren und sogar darüber nachzudenken, wie sie funktionieren. Diese Fähigkeit eröffnet neue Möglichkeiten für den Einsatz von LLMs bei Aufgaben, die ein Verständnis dafür erfordern, wie Prozesse sich verhalten, wie das Erkennen ungewöhnlicher Aktivitäten und das Vorhersagen der nächsten Schritte in einem Prozess.

In diesem Artikel schauen wir uns an, wie gut LLMs Aufgaben im Zusammenhang mit dem Verständnis von Prozessverhalten und Semantik erledigen können. Wir konzentrieren uns auf drei spezifische Aufgaben, die dieses Verständnis erfordern: zu bestimmen, ob eine Folge von Aktivitäten gültig ist, zu bewerten, ob die Reihenfolge der Aktivitäten korrekt ist, und die nächste Aktivität in einem Prozess vorherzusagen. Wir stellen Datensätze für diese Aufgaben bereit und bewerten, wie gut verschiedene Modelle abschneiden.

#Die Rolle der Sprachmodelle im Process Mining

Sprachmodelle werden trainiert, um menschliche Sprache zu verstehen und zu generieren. Sie können aus grossen Mengen Text lernen und können für spezifische Aufgaben spezialisiert werden. Im Process Mining können LLMs potenziell Daten analysieren und Analysten helfen, die Prozesse besser zu verstehen. Sie können Prozesse in Textform beschreiben, Fragen zu Ereignisdaten beantworten und helfen, Abfragen für die Datenanalyse zu formulieren.

LLMs sind besonders nützlich, weil sie starke Sprachverständnisfähigkeiten haben, die es ihnen ermöglichen, die Bedeutung von Aktivitäten und deren Beziehungen zu berücksichtigen, wenn sie an Aufgaben wie der Erkennung von Anomalien oder der Vorhersage der nächsten Schritte arbeiten.

#Herausforderungen bei der Nutzung von LLMs im Process Mining

Obwohl LLMs vielversprechend sind, bringen sie ohne Modifikationen nicht die besten Ergebnisse bei komplexeren Process-Mining-Aufgaben. Sie haben Schwierigkeiten, angemessen abzuschneiden, wenn sie nur wenige Beispiele dafür bekommen, was zu tun ist. Wenn sie jedoch für spezifische Aufgaben feinjustiert werden, kann sich ihre Leistung erheblich verbessern, oft besser als kleinere Modelle, die nicht so viele Parameter haben.

#Verständnis von Prozessmodellen und Ereignisdaten

Process Mining umfasst das Verständnis verschiedener Elemente wie Prozessmodelle, Ereignisdaten und wie Aktivitäten zueinander in Beziehung stehen.

Ein Prozessmodell stellt die erlaubten Verhaltensweisen in einem Geschäftsprozess dar, definiert durch eine Reihe von Aktivitäten, die durchgeführt werden können. Jede Ausführung eines Prozesses, genannt Trace, ist eine Sequenz von Aktivitäten, die angibt, wie ein Prozess tatsächlich durchgeführt wurde.

Ereignisdaten werden in Form von Ereignisprotokollen erfasst, die die Sequenzen von Aktivitäten aufzeichnen, die bereits aufgetreten sind. Forscher nutzen diese Protokolle, um zu analysieren, wie gut Prozesse abschneiden und um Abweichungen vom erwarteten Verhalten zu identifizieren.

#Definition semantisch bewusster Aufgaben

In diesem Artikel konzentrieren wir uns auf drei Aufgaben, die es uns ermöglichen, zu bewerten, wie gut Sprachmodelle mit Process Mining umgehen, während sie die Semantik der Aktivitäten berücksichtigen:

1. Gültigkeit von Aktivitätssequenzen: Diese Aufgabe bewertet, ob eine Sequenz von Aktivitäten eine ordnungsgemässe Ausführung eines Prozesses darstellt.

2. Ausführungsreihenfolge: Diese Aufgabe bestimmt, ob die Reihenfolge von zwei Aktivitäten basierend auf den Regeln des Prozesses gültig ist.

3. Vorhersage der nächsten Aktivität: Diese Aufgabe sagt voraus, welche Aktivität als nächste in einer Sequenz kommen sollte, basierend auf den bereits durchgeführten Aktivitäten.

Diese Aufgaben sind darauf ausgelegt, das Verständnis des Modells für Prozessverhalten zu testen, ohne sich auf historische Ereignisdaten zu stützen, und betonen somit die Wichtigkeit, zu wissen, wie Prozesse typischerweise funktionieren.

#Semantische Anomalieerkennung

Die Anomalieerkennung im Process Mining zielt darauf ab, Verhaltensweisen zu finden, die nicht den etablierten Normen entsprechen. Traditionelle Methoden suchen oft nach statistischen Ausreissern, aber das kann wichtige semantische Probleme übersehen. Die semantische Anomalieerkennung konzentriert sich darauf, Verhaltensweisen zu identifizieren, die aus einer Prozessperspektive keinen Sinn ergeben.

Wenn zum Beispiel eine Zahlung verarbeitet wird, bevor eine Bestellung bestätigt ist, würde dies als anomales Verhalten gelten, weil es nicht mit dem logischen Ablauf des Prozesses übereinstimmt. Das Erkennen solcher Anomalien erfordert ein tieferes Verständnis der Prozesssemantik, das LLMs liefern können, wenn sie richtig trainiert sind.

#Erstellung eines Datensatzes für die Bewertung

Um zu bewerten, wie gut LLMs diese Aufgaben erledigen können, haben wir einen Datensatz basierend auf Prozessmodellen erstellt. Wir haben eine Sammlung von grafischen Prozessdiagrammen verwendet, um textuelle Darstellungen verschiedener Prozessverhaltensweisen zu generieren. Jedes ausgewählte Diagramm wurde in Aktivitätssequenzen umgewandelt, die die gültigen Ausführungen des Prozesses festhielten.

Aus diesem Korpus haben wir spezifische Datensätze entwickelt, die auf jede der drei Aufgaben zugeschnitten sind. Jeder Datensatz enthält Instanzen zum Trainieren und Testen der Modelle, sodass wir deren Leistung genau bewerten können.

#Experimentelle Einrichtung

Wir haben verschiedene Modelle getestet, einschliesslich LLMs und kleinerer, encoderbasierter Sprachmodelle, bei unseren Aufgaben. Für jedes Modell haben wir verglichen, wie sie in zwei Szenarien abschnitten: wenn sie ohne zusätzliche Schulung verwendet wurden und wenn sie speziell für die Aufgaben feinjustiert wurden.

In Bezug auf die Lernsetting haben wir In-Context-Learning (ICL) für Aufgaben eingesetzt, bei denen die Modelle nur auf wenige Beispiele angewiesen sein konnten, und Fine-Tuning für Szenarien, in denen die Modelle mit aufgabenbezogenen Daten trainiert wurden.

#Ergebnisse der Bewertung

Unsere Ergebnisse zeigen, dass LLMs bei den Aufgaben nicht gut abschneiden, wenn sie ohne Feinabstimmung verwendet werden. In ICL-Szenarien erzielten sie Ergebnisse, die nur minimal besser waren als zufällige Vermutungen. Wenn sie jedoch feinjustiert wurden, zeigten sie erhebliche Verbesserungen und übertrafen oft ihre kleineren Pendants.

Zum Beispiel erzielten die feinjustierten LLMs bei der Bewertung von Aktivitätssequenzen viel höhere Punktzahlen als bei der unmodifizierten Nutzung. Es wurde klar, dass LLMs zwar anfangs Schwierigkeiten mit diesen Aufgaben haben können, sie jedoch erheblich von gezieltem Training profitieren können.

#Leistungsanalyse

Wir bemerkten Unterschiede in der Leistung über die Aufgaben hinweg. Die Modelle schnitten bei Aktivitäten, die sich auf die Identifizierung spezifischer Beziehungen zwischen Aktivitäten konzentrierten, besser ab als bei denen, die eine allgemeine Bewertung eines Prozess-Traces erforderten. Die Vorhersage der nächsten Aktivität stellte sich als die grösste Herausforderung heraus, da sie nicht nur das korrekte Verständnis früherer Aktivitäten, sondern auch den Kontext des gesamten Prozesses erfordert.

Während der Bewertung beobachteten wir, dass LLMs zwar bei der Erkennung standardmässiger Prozesse hervorragend abschneiden, sie jedoch schwächeln können, wenn es um spezialisierte oder unkonventionelle Prozesse geht. Diese Inkonsistenz betont die Wichtigkeit des Kontexts und die Notwendigkeit einer kontinuierlichen Verfeinerung der Modelle.

#Fazit

Zusammenfassend zeigt unsere Studie, dass LLMs das Potenzial haben, bei Process-Mining-Aufgaben zu helfen, die ein Verständnis der Semantik erfordern. Obwohl sie in einer direkten, untrainierten Anwendung Schwierigkeiten haben, kann gezieltes Training durch Feinabstimmung starke Leistungen erzielen.

Für die Zukunft könnte die Integration von LLMs mit bestehenden Process-Mining-Methoden die gesamten Analysefähigkeiten von Prozessen stärken. Wenn LLMs darauf trainiert werden könnten, unsinnige Vorhersagen zu kennzeichnen oder Analysten zu leiten, könnten sie die Art und Weise, wie Organisationen ihre Prozesse analysieren und optimieren, erheblich verbessern.

In Zukunft planen wir, weiter zu erforschen, wie LLMs mit traditionellen Process-Mining-Techniken zusammenarbeiten können, um einen kollaborativen Ansatz zur besseren Verständnis und Verwaltung von Geschäftsprozessen zu schaffen.

Unsere Arbeit trägt zu einem wachsenden Wissensbestand bei, der darauf abzielt, künstliche Intelligenz mit Prozessanalyse zu verbinden und den Weg für intelligentere und reaktionsschnellere Systeme zu ebnen, die sich an die komplexen Dynamiken moderner Organisationen anpassen können.