Bewertung von ChatGPTs Fähigkeit, UML-Diagramme zu erzeugen

Modelle aus natürlichen Sprach (NL) Anforderungen zu erstellen, kann den Leuten, die an einem Projekt arbeiten, helfen, besser zu kommunizieren und das Design eines Systems zu planen. Allerdings dauert es in der Regel viel Zeit und Mühe, diese Modelle zu erstellen. Neue Tools, wie generative grosse Sprachmodelle (LLMs), können helfen, diesen Prozess zu automatisieren. Ein bekanntes Beispiel ist ChatGPT. Dieser Artikel untersucht, wie gut ChatGPT eine bestimmte Art von Modell, nämlich UML-Sequenzdiagramme, aus NL-Anforderungen erstellen kann.

#Die Bedeutung grafischer Modelle

Grafische Modelle sind nützliche Werkzeuge, die den Leuten, die an einem Projekt beteiligt sind, helfen können, zu verstehen und zu besprechen, was von einem System benötigt wird. Während viele Anforderungen in natürlicher Sprache verfasst sind, klärt das Hinzufügen grafischer Modelle die Details und erleichtert es allen, auf derselben Seite zu sein. Aber die Erstellung dieser Modelle aus dem Text erfordert erheblichen manuellen Aufwand.

#Die Rolle der natürlichen Sprachverarbeitung

Tools zur natürlichen Sprachverarbeitung (NLP) können helfen, es für Requirements Engineers einfacher zu machen, Modelle zu generieren. Diese Tools können automatisch grafische Darstellungen erzeugen, die helfen, zu visualisieren, was das System tun sollte. UML-Diagramme, die sowohl strukturelle Modelle (wie Klassendiagramme) als auch verhaltensbezogene Modelle (wie Sequenzdiagramme) umfassen, werden in diesem Bereich häufig verwendet.

#Herausforderungen bei der Automatisierung der Modellerstellung

Traditionell basierte die Erstellung von UML-Diagrammen aus Anforderungen auf regelbasierten NLP-Methoden. Obwohl diese Methoden nützliche Ergebnisse liefern können, erfordern sie oft viel manuelle Eingabe und sind schwer an verschiedene Situationen anzupassen. Jüngste Fortschritte in NLP und generativen LLMs könnten helfen, diese Herausforderungen zu überwinden. LLMs werden auf grossen Datensätzen trainiert und können natürliche Sprache bis zu einem gewissen Grad verstehen, wodurch möglicherweise schnellere Modellerstellungen mit weniger menschlichem Aufwand ermöglicht werden.

#Ziel der Studie

Diese Studie zielt darauf ab, zu bewerten, wie gut ChatGPT UML-Sequenzdiagramme basierend auf NL-Anforderungen erstellen kann. Sequenzdiagramme sind wichtig, weil sie die Interaktionen zwischen verschiedenen Komponenten eines Systems im Laufe der Zeit darstellen. Sie helfen, dynamische Verhaltensweisen zu klären, die sich von statischen Darstellungen wie Klassendiagrammen unterscheiden. Frühere Forschungen konzentrierten sich eher auf Klassendiagramme und Zielmodelle, daher zielt diese Studie speziell auf Sequenzdiagramme ab.

#Forschungsdesign und Vorgehensweise

Um die Fähigkeit von ChatGPT zur Generierung von Sequenzdiagrammen zu bewerten, führte eine Gruppe von drei Forschern mit Erfahrung in Requirements Engineering und NLP eine explorative Studie durch. Sie haben ChatGPT mit 28 verschiedenen Anforderungsdokumenten aufgefordert, die sich in Format und Inhalt unterschieden. Diese Dokumente beinhalteten traditionelle "soll"-Aussagen, User Stories und Use Case-Spezifikationen.

Die Forscher führten auch Änderungen an den Anforderungen ein, um reale Herausforderungen zu simulieren. Sie beobachteten, wie gut ChatGPT mit häufigen Problemen im Zusammenhang mit unklaren Anforderungen umgehen konnte, wie z.B. Mehrdeutigkeit oder Inkonsistenz. Jedes generierte Diagramm wurde dann anhand mehrerer Kriterien bewertet.

#Bewertungskriterien

Die Forscher verwendeten spezifische Kriterien, um die Qualität der von ChatGPT erzeugten Diagramme zu beurteilen. Diese Kriterien umfassten:

1. Vollständigkeit: Deckte das Diagramm alle bekannten Anforderungen ab?
2. Korrektheit: War das dargestellte Verhalten konsistent mit den Anforderungen?
3. Einhaltung von Standards: Folgte das Diagramm den Standardformatierungen und -regeln für UML?
4. Verständlichkeit: Könnte ein Nicht-Experte das Modell trotzdem leicht verstehen?
5. Terminologische Übereinstimmung: Entsprachen die in den Diagrammen verwendeten Begriffe den ursprünglichen Anforderungen?

#Datensammlung

Die Forscher sammelten 28 verschiedene Anforderungsdokumente, die eine Vielzahl von Bereichen wie Gesundheitswesen, Sicherheit und Transport abdeckten. Sie arbeiteten mit Anforderungen, die in verschiedenen Branchen typisch sind, um sicherzustellen, dass die Studie reale Situationen widerspiegelt.

Für jedes Anforderungsdokument extrahierte das Team eine Teilmenge, die als Sequenzdiagramm dargestellt werden konnte. Sie erstellten auch Variationen jeder Anforderung, um ChatGPT unter verschiedenen Bedingungen zu testen. Das Ziel war zu sehen, wie es mit Herausforderungen wie unklaren oder unvollständigen Anforderungen umging.

#Prozess der Diagrammerstellung

Um die Sequenzdiagramme zu generieren, forderten die Forscher ChatGPT mit einer spezifischen Anweisung auf: "Erstelle ein Sequenzdiagramm aus diesen Anforderungen, damit ich es an Planttext weitergeben kann, um es zu visualisieren." Planttext ist ein Tool, das hilft, UML-Diagramme auf einfache Weise zu visualisieren. Die generierten Diagramme dienten als Ausgangspunkt für die Bewertung.

#Analysemethodik

Jedes generierte Diagramm wurde unabhängig von zwei Forschern untersucht. Sie vergaben Punkte basierend auf den festgelegten Kriterien und hielten ihre Beobachtungen in Bewertungsprotokollen fest. Ein dritter Forscher analysierte später diese Protokolle, um häufige Probleme in den von ChatGPT produzierten Diagrammen zu identifizieren.

Dieser strukturierte Ansatz sollte zu einem klaren Verständnis darüber führen, wie gut ChatGPT bei der Erstellung von Sequenzdiagrammen abschneidet, wobei der Fokus auf der Qualität und den Problemen der generierten Outputs lag.

#Ergebnisse der Bewertung

#Qualität der Diagramme

Insgesamt zeigte die Bewertung, dass, während die von ChatGPT produzierten Diagramme einige Stärken hatten, sie auch erhebliche Schwächen aufwiesen. Die Diagramme schnitten tendenziell gut in Bezug auf Vollständigkeit, Verständlichkeit und Einhaltung von Standards ab. Das bedeutet, dass sie in der Regel alle notwendigen Elemente beinhalteten und bis zu einem gewissen Grad klar waren.

Allerdings zeigte die Studie substanzielle Probleme mit der Korrektheit. Viele Diagramme stimmten nicht vollständig mit den ursprünglichen Anforderungen überein. Insbesondere fehlende oder falsche Elemente tauchten häufig in den Diagrammen auf, und die Probleme wurden deutlicher, wenn die ursprünglichen Anforderungen mehrdeutig oder inkonsistent waren.

#Identifizierte Probleme

Durch die thematische Analyse der Bewertungsprotokolle wurden mehrere Problembereiche identifiziert:

1. Zusammenfassungsprobleme: ChatGPT hat manchmal wichtige Details in den Anforderungen übersehen oder zu stark vereinfacht. Das führte zu fehlenden Komponenten oder Informationen in den generierten Diagrammen.

2. Inkonsistente Terminologie: Die in den Diagrammen verwendete Sprache war nicht immer konsistent mit der der ursprünglichen Anforderungen, was es schwierig machte, zum ursprünglichen Text zurückzuverfolgen.

3. Mangelndes Fachwissen: Die generierten Modelle fehlten gelegentlich spezifische Details, die spezielles Wissen über den Bereich erforderten, was zu Ungenauigkeiten führte.

4. Fehler in der Struktur: Es gab Fälle, in denen die Reihenfolge der Operationen falsch war, was Stakeholder verwirren könnte, die versuchen, das Verhalten des Systems zu verstehen.

5. Genauigkeitsprobleme: ChatGPT hatte Schwierigkeiten mit numerischen oder zeitlichen Informationen, die in Anforderungen oft kritisch sind. Diagramme ignorierten manchmal diese Aspekte völlig.

6. Rückverfolgbarkeitsprobleme: Es war nicht immer einfach, die Diagramme mit den spezifischen Anforderungen zu verknüpfen, auf denen sie basierten, was die Diagramme in der Praxis weniger nützlich machte.

#Auswirkungen auf die Praxis

Die Ergebnisse dieser Studie heben die potenziellen Vorteile und Herausforderungen der Verwendung von LLMs wie ChatGPT im Requirements Engineering-Prozess hervor. Während diese Tools wertvolle Diagramme erzeugen können, die die Kommunikation unterstützen, ist eine sorgfältige Betrachtung der generierten Outputs entscheidend.

#Bedarf an menschlicher Aufsicht

Obwohl ChatGPT bei der Erstellung von Diagrammen helfen kann, kann es die Notwendigkeit menschlicher Aufsicht und Expertise nicht ersetzen. Praktiker sollten weiterhin im Prozess eingebunden sein, um Kontext zu liefern, mehrdeutige Anforderungen zu klären und sicherzustellen, dass die generierten Diagramme vollständig und genau sind.

#Schrittweise Verbesserungen

Ein iterativer Prozess kann die Qualität der generierten Diagramme verbessern. Durch enge Zusammenarbeit mit ChatGPT können Analysten die Anforderungen verfeinern und das Tool mehrmals auffordern, um das Ergebnis zu verbessern. Dies könnte zu genaueren und hilfreicheren Modellen führen, was letztendlich dem Requirements Engineering-Prozess zugutekommt.

#Die Rolle des Kontextwissens

Die Bereitstellung zusätzlicher Informationen und spezifischen Fachwissens kann die Leistung von ChatGPT bei der Erstellung von Diagrammen erheblich verbessern. Wenn Analysten relevante Informationen in ihren Aufforderungen einbeziehen, können sie dem Tool helfen, die Anforderungen besser zu verstehen, was Fehler reduziert.

#Fazit

Zusammenfassend untersuchte diese Studie die Fähigkeit von ChatGPT, UML-Sequenzdiagramme aus NL-Anforderungen zu erstellen. Die Ergebnisse zeigten, dass ChatGPT zwar Diagramme erzeugen konnte, die grösstenteils klar und gut strukturiert waren, bedeutende Herausforderungen jedoch in Bezug auf Vollständigkeit und Korrektheit bestanden.

Diese Probleme waren besonders ausgeprägt im Umgang mit mehrdeutigen oder unklar definierten Anforderungen. Zukünftig können die Ergebnisse dieser Studie die Praktiken im Requirements Engineering informieren und die Wichtigkeit menschlicher Beteiligung im Prozess sowie das Potenzial von LLMs betonen, die traditionellen Methoden zu ergänzen, aber nicht zu ersetzen.

Durch die fortlaufende Erforschung der Integration generativer Sprachmodelle in praktische Anwendungen kann sich das Feld weiter entwickeln und an die Komplexitäten der modernen Softwareentwicklung anpassen. Durch die Zusammenarbeit von Technologie und menschlicher Expertise sollte das Ziel darin bestehen, qualitativ hochwertige, zuverlässige und verständliche Modelle zu erstellen, die den Bedürfnissen aller Stakeholder im Requirements Engineering-Prozess gerecht werden.