Einführung des PM-LLM-Benchmarks zur Bewertung von Process Mining

Grosse Sprachmodelle (LLMs) sind Computerprogramme, die in natürlicher Sprache lesen und schreiben können. Diese Modelle haben viele potenzielle Anwendungsbereiche, einschliesslich Unterstützung beim Process Mining, einem Bereich, der Daten analysiert, um zu verbessern, wie Unternehmen arbeiten. Process Mining untersucht die Ereignisdaten, die erfasst werden, wenn ein Geschäftsprozess abläuft, und zielt darauf ab, Erkenntnisse zu gewinnen, die bei Entscheidungen helfen können.

Dieser Artikel stellt einen neuen Benchmark namens PM-LLM-Benchmark vor. Er hilft zu bewerten, wie gut verschiedene LLMs in spezifischen Aufgaben im Zusammenhang mit Process Mining abschneiden. Während einige kommerzielle Modelle bereits gut bei verschiedenen analytischen Aufgaben sind, ist unklar, wie effektiv Open-Source-LLMs bei spezialisierteren Process-Mining-Aufgaben sind.

#Was ist Process Mining?

Process Mining ist ein Bereich der Datenscience, der Daten nutzt, um zu untersuchen, wie Prozesse innerhalb einer Organisation funktionieren. Ziel ist es, Erkenntnisse über die Effizienz und Effektivität dieser Prozesse zu gewinnen. Zu den gängigen Techniken im Process Mining gehören:

1. Prozessentdeckung: Automatisches Erstellen von Modellen, die darstellen, wie Prozesse auf Basis von Ereignisdaten funktionieren.
2. Konformitätsprüfung: Vergleichen tatsächlicher Ereignisdaten mit erwarteten Prozessmodellen, um zu sehen, ob sie übereinstimmen.
3. Modellverbesserung: Hinzufügen von Metriken zu Prozessmodellen basierend auf Ereignisdaten.

Process Mining profitiert erheblich davon, den spezifischen Kontext zu verstehen, in dem ein Unternehmen operiert. LLMs wurden auf riesigen Mengen an Allgemeinwissen trainiert, das auch Einblicke in Prozesse beinhaltet. Einige fortgeschrittene kommerzielle Modelle, wie GPT-4, haben vielversprechende Ergebnisse bei verschiedenen Process-Mining-Aufgaben gezeigt, wie z.B. beim Erkennen ungewöhnlicher Muster in Daten.

#Der Bedarf an einem Benchmark

Obwohl es allgemeine Benchmarks zur Bewertung von LLMs gibt, gibt es keinen, der speziell auf Process-Mining-Aufgaben abzielt. Diese Lücke macht es schwierig zu beurteilen, welche Modelle am besten für diesen spezifischen Zweck geeignet sind. Faktoren, die zu dieser Herausforderung beitragen, sind:

• Variationen in Process-Mining-Artefakten, wie Ereignisprotokollen und Prozessmodellen.
• Unterschiedliche Typen von Process-Mining-Aufgaben.
• Die verschiedenen Programmiersprachen und Tools, die im Process Mining verwendet werden.

Um diese Probleme anzugehen, wurde der PM-LLM-Benchmark entwickelt. Dieser Benchmark konzentriert sich auf zwei Hauptwege, wie LLMs im Process Mining helfen können: direkte Einsichten zu liefern und Code zu generieren.

#Beiträge des PM-LLM-Benchmarks

Der PM-LLM-Benchmark hat drei Hauptbeiträge:

1. Umfassender Benchmark: Es ist der erste umfangreiche Benchmark zur Bewertung von LLMs bei Process-Mining-Aufgaben. Er nutzt verschiedene Arten von Eingabefragen, die Wissen über Prozesse und deren Funktionsweise erfordern.

2. Bewertungsstrategie: Der Benchmark umfasst ein System zur Bewertung der Qualität der Antworten, die von LLMs gegeben werden. Dies hilft zu bestimmen, wie gut jedes Modell in spezifischen Aufgaben abschneidet.

3. Ergebnisse aus dem Benchmark: Der Benchmark wurde auf mehrere hochmoderne LLMs angewendet, wodurch ihre Stärken und Schwächen bei Process-Mining-Aufgaben hervorgehoben wurden.

#Herausforderungen bei der Bewertung

Eine wesentliche Herausforderung bei der Bewertung von LLM-Ausgaben ist die Schwierigkeit, festzustellen, was die "richtige" Antwort ist, insbesondere bei offenen Fragen. Traditionelle Metriken vergleichen oft Antworten mit von Menschen bereitgestellten Lösungen, was bei komplexen Aufgaben nicht gut funktionieren könnte. LLMs als Richter zu nutzen, hilft, ein flexibleres und skalierbares Bewertungssystem zu schaffen.

In diesem Bewertungssystem bewertet ein fortgeschrittenes LLM die Leistung anderer LLMs. Das Richter-LLM vergibt Punkte basierend auf der Qualität der Antworten. Dieses System beruht nicht auf einer festen Wahrheit, da viele Aufgaben im Process Mining keine definitiven Antworten haben.

#Kategorien von Aufgaben im Benchmark

Der Benchmark umfasst mehrere Kategorien, um die Fähigkeiten eines LLMs im Process Mining zu bewerten:

1. Allgemeine qualitative Aufgaben: Diese Aufgaben bewerten, wie gut LLMs Prozesse beschreiben, Anomalien erkennen und Ursachen analysieren können.

2. Fragen zum Wissen im Bereich Process Mining: Diese Kategorie bewertet das Verständnis des LLM für Konzepte des Process Mining.

3. Generierung von Prozessmodellen: Hier werden LLMs auf ihre Fähigkeit getestet, verschiedene Arten von Prozessmodellen zu erstellen.

4. Verständnis von Prozessmodellen: Dies bewertet, wie gut LLMs bereitgestellte Prozessmodelle verstehen.

5. Hypothesengenerierung: Diese Kategorie betrachtet die Fähigkeit der LLMs, Hypothesen basierend auf Daten aufzustellen.

6. Bewertung von Fairness: LLMs werden auf ihre Fähigkeit getestet, sensible Attribute in Ereignisprotokollen zu identifizieren.

7. Visuelle Eingaben: Für LLMs, die visuelle Eingaben unterstützen, bewertet diese Kategorie ihr Verständnis von Visualisierungen, die mit Prozessdaten verbunden sind.

#Ergebnisse des PM-LLM-Benchmarks

Der Benchmark wurde an verschiedenen LLMs getestet, um zu sehen, wie gut sie die Aufgaben bewältigen konnten. Generell schnitten grössere LLMs, insbesondere kommerzielle Modelle, besser ab als kleinere. Hier sind einige der wichtigsten Ergebnisse:

• Kommerzielle Modelle, wie GPT-4, erzielten in allen Kategorien hohe Werte und zeigten starke Leistungen.
• Grosse Open-Source-Modelle schnitten ebenfalls gut ab und kamen den Leistungen der kommerziellen Modelle nahe.
• Kleinere Modelle hatten bei vielen Aufgaben Schwierigkeiten und konnten oft keine nützlichen Einsichten liefern.

Interessanterweise erzielten die grösseren Modelle gute Ergebnisse, während die kleineren Modelle manchmal in spezifischen Aufgaben angemessene Punkte erreichen konnten. Allerdings waren die kleinsten Modelle für komplexe Process-Mining-Aufgaben nicht geeignet.

#Einschränkungen und zukünftige Richtungen

Obwohl der PM-LLM-Benchmark ein Fortschritt in der Bewertung von LLMs im Process Mining ist, hat er auch seine Einschränkungen. Zum Beispiel berücksichtigt er nicht die gesamte Bandbreite an Aufgaben, die einige fortgeschrittene LLMs möglicherweise effektiv bewältigen können. Fortlaufende Forschung ist notwendig, um den Benchmark zu verfeinern und seinen Umfang weiter zu erweitern.

Zukünftige Bereiche der Benchmarking-Erforschung könnten Folgendes umfassen:

1. Retrieval-Augmented Generation (RAG): Dabei geht es darum, Methoden zu verwenden, um spezifische Prozessinformationen dynamisch in Eingabefragen einzubeziehen, um die Antworten der LLMs zu verbessern.

2. Agenten-Teams: Dieses Konzept konzentriert sich darauf, Teams von spezialisierten LLMs zur Datenanalyse zu nutzen, was die Qualität der Einsichten verbessern könnte.

3. Hypothesenverfeinerung: Bewerten, wie gut LLMs Hypothesen basierend auf Feedback und Beweisen verfeinern und überprüfen können.

4. Dynamische Datensatzgenerierung: Es könnte hilfreich sein, neue Datensätze zu erstellen, die verschiedene Szenarien enthalten, einschliesslich typischer Fehler oder einzigartiger Fälle, die LLMs in realen Anwendungen begegnen könnten.

#Fazit

Der PM-LLM-Benchmark dient als wertvolles Werkzeug zur Bewertung, wie gut LLMs mit Process-Mining-Aufgaben umgehen können. Während grössere Modelle im Allgemeinen bessere Leistungen zeigten, haben kleinere Modelle noch Verbesserungsmöglichkeiten, was darauf hinweist, dass in diesem Bereich weitere Entwicklungen notwendig sind. Dieser Benchmark hilft nicht nur dabei, die Stärken und Schwächen bestehender Modelle zu identifizieren, sondern legt auch den Grundstein für künftige Fortschritte und Forschung auf diesem Gebiet.

Da Organisationen weiterhin Techniken des Process Mining anwenden, wird es immer wichtiger, zuverlässige Werkzeuge zur Bewertung der LLM-Fähigkeiten zu haben. Die Erkenntnisse aus diesem Benchmarking werden dazu beitragen, die fortlaufende Entwicklung der LLMs zur Erfüllung der spezifischen Bedürfnisse von Process Mining und darüber hinaus zu leiten.