Nutzung von Benutzerszenarien für die App-Entwicklung

Mobile-Anwendungen sind beliebt und weit verbreitet, was zu einem Wachstum in der App-Industrie führt. Oft werden diese Apps von kleinen Teams mit begrenzten Ressourcen entwickelt, besonders in den frühen Phasen der Entwicklung. In diesen frühen Phasen kann es schwierig sein, die Nutzeranforderungen durch Methoden wie Interviews zu sammeln. Deshalb priorisieren Unternehmen oft die Entwicklung und den Launch über das Verständnis der Nutzerbedürfnisse. Zudem ändern sich die Anforderungen für diese Apps häufig, um mit dem Marktwettbewerb Schritt zu halten.

Wenn Unternehmen ihre Entwicklungsprozesse standardisieren, beginnen sie, Anforderungen zu dokumentieren und zu analysieren. Eine nützliche Quelle für Nutzeranforderungen nach dem Launch einer App sind die Rückmeldungen von Nutzern. Nutzer schreiben oft Szenarien, in denen sie ihre Erfahrungen und ihre Interaktion mit der App beschreiben. Dieses Papier behandelt eine neue Methode, um essentielle Komponenten für App-Anwendungsfälle aus diesen nutzerverfassten Szenarien mithilfe fortschrittlicher Sprachmodelle zu extrahieren.

#Bedeutung von Nutzerfeedback

Nutzerfeedback spielt eine entscheidende Rolle in der Entwicklung von mobilen Apps. Dieses Feedback liegt oft in Form von App-Bewertungen vor, die typischerweise kurz sind und wichtige Details fehlen können. Studien haben gezeigt, dass viele Bewertungen keine nützlichen Informationen bieten, die Entwickler für die Verbesserung der App verwenden können. Daher kann es unzureichend sein, sich allein auf Bewertungen zu verlassen, um umfassende App-Anforderungen zu sammeln.

Anstatt Bewertungen zu nutzen, schlagen wir vor, nutzerverfasste Szenarien als Methode zu verwenden, um Nutzeranforderungen aufzudecken. Bei diesem Ansatz werden App-Nutzer gebeten, ihre Ziele beim Benutzen eines bestimmten Features der App zu beschreiben. Sie gehen ins Detail über die Schritte, die sie unternehmen, um diese Ziele zu erreichen und die benötigten Informationen. Diese Methode ist vorteilhaft, weil sie reichhaltigere Informationen über Nutzererwartungen und -verhalten liefert.

#Sammeln von Nutzerszenarien

Um diese Nutzerszenarien zu sammeln, führten wir eine Umfrage durch, die sich an App-Nutzer richtete. Die Teilnehmer wurden gebeten, eine App auszuwählen, die sie häufig nutzen, und eine Beschreibung ihrer Interaktion mit einem bestimmten Teil dieser App zu geben. Sie luden einen Screenshot des App-Bildschirms hoch und beschrieben ihr Ziel, die Schritte, die unternommen wurden, um zu diesem Bildschirm zu gelangen, und die benötigten Informationen, um ihr Ziel zu erreichen, in mindestens 150 Wörtern.

Die Umfrage wurde über Plattformen zugänglich gemacht, die mit einer grossen Anzahl von Teilnehmern verbunden sind, um eine diverse Gruppe von App-Nutzern zu gewährleisten. Um persönliche Informationen zu schützen, wurden die Teilnehmer angewiesen, alle sensiblen Daten von ihren Screenshot-Uploads zu entfernen.

#Analyse der Nutzerszenarien

Nachdem die Nutzerszenarien gesammelt wurden, etikettierten wir sie, um verschiedene Komponenten zu identifizieren. Diese Komponenten umfassen Elemente wie das Ziel des Nutzers, die unternommenen Aktionen und die datenschutzbezogenen Interaktionen. Ziel war es, die Informationen so zu kategorisieren, dass sie leichter analysiert und sinnvolle Anforderungen für die mobile App extrahiert werden können.

Das manuelle Etikettieren dieser Szenarien ist zwar wichtig, aber zeitaufwendig und fehleranfällig, insbesondere wenn sich die Anforderungen ständig ändern. Unsere vorgeschlagene Lösung ist die Nutzung grosser Sprachmodelle (LLMs), die diese Anwendungsfallkomponenten automatisch aus den Nutzerszenarien identifizieren und extrahieren können.

#Verwendung von ChatGPT zur Extraktion

ChatGPT, ein bekanntes Sprachmodell, wurde für diese Aufgabe ausgewählt. Es hat an Popularität gewonnen, weil es natürliche Sprache generieren und verarbeiten kann. Um zu bewerten, wie gut ChatGPT Anwendungsfallkomponenten extrahieren kann, entwarfen wir mehrere Studien zur Analyse seiner Leistung.

In der ersten Studie bewerteten wir die Qualität der nutzerverfassten Szenarien und prüften, ob sie klare Ziele, Schritte und notwendige Informationen bereitstellten. In der zweiten Studie verglichen wir die Anwendungsfallkomponenten, die durch manuelles Etikettieren identifiziert wurden, mit denen, die von ChatGPT generiert wurden.

In diesen Studien schauten wir auch darauf, wie sich das Modifizieren der Anweisungen, die ChatGPT gegeben wurden (bekannt als Prompt Engineering), auf die Ausgabequalität auswirken könnte. Durch die Verfeinerung dieser Anweisungen wollten wir verbessern, wie gut das Modell die relevanten Anwendungsfallkomponenten identifizierte.

#Ergebnisse der ersten Studie

Die erste Studie konzentrierte sich darauf, die Nutzerszenarien zu bewerten, die durch die Umfrage gesammelt wurden. Ziel war es zu bestimmen, wie viele Szenarien klar definierte Ziele, Schritte und informationstechnische Praktiken in Bezug auf den Datenschutz enthielten. Unsere Analyse ergab, dass ein erheblicher Grossteil der Szenarien gut definierte Ziele und Schritte enthielt. Allerdings enthielten weniger Szenarien datenschutzbezogene Informationen, was darauf hinweist, dass Nutzer diesen Aspekt möglicherweise nicht berücksichtigt haben, als sie ihre Szenarien schrieben.

#Vergleich zwischen manueller und automatisierter Extraktion

In der zweiten Studie untersuchten wir die Effektivität von ChatGPT bei der Extraktion von Anwendungsfallkomponenten aus den Nutzerszenarien. Wir etablierten Wahrheitsdaten durch manuelles Etikettieren, um als Benchmark für die Bewertung der automatisierten Extraktion zu dienen. Durch den Vergleich der von ChatGPT identifizierten Komponenten mit den manuell etikettierten konnten wir Genauigkeit und Qualität messen.

Die Analyse zeigte, dass ChatGPT zwar recht gut bei der Extraktion von Komponenten abschnitt, es jedoch bemerkenswerte Verbesserungsbereiche gab. Das Modell verpasste manchmal den Kontext oder die Nuancen der Szenarien, was zu unvollständiger oder ungenauer Identifizierung von Komponenten führte.

#Einfluss von Prompt Engineering

Prompt Engineering spielte eine entscheidende Rolle bei der Verbesserung der Ausgabe von ChatGPT. Durch die Verfeinerung der Anweisungen, die dem Modell gegeben wurden, fanden wir heraus, dass es möglich war, die Qualität der extrahierten Komponenten zu verbessern. Dies beinhaltete das Bereitstellen klarerer Definitionen und Beispiele der Komponenten, die wir vom Modell extrahieren wollten.

In späteren Studien testeten wir verschiedene Prompts und verfolgten die Verbesserungen in der Ausgabequalität. Die Ergebnisse deuteten darauf hin, dass gut strukturierte Prompts zu genaueren Extraktionen von Anwendungsfallkomponenten führten. Diese Erkenntnis legt nahe, dass Entwickler erheblich davon profitieren können, Zeit in die Erstellung effektiver Prompts zu investieren, wenn sie Sprachmodelle zur Anforderungsextraktion nutzen.

#Herausforderungen bei der Extraktion

Trotz der vielversprechenden Ergebnisse bleiben mehrere Herausforderungen bei der Extraktion von Anwendungsfallkomponenten. Das Sprachmodell hatte oft Schwierigkeiten, datenschutzbezogene Informationen zu extrahieren, die für die App-Entwicklung in der heutigen datengestützten Landschaft entscheidend sind. Dieses Problem resultiert aus dem Mangel an domänenspezifischem Wissen im Modell, was den Bedarf an zusätzlichem Kontext in den Prompts, die wir bereitstellen, verdeutlicht.

Darüber hinaus wurde beim Analysieren der Szenarien deutlich, dass ChatGPT dazu neigte, komplexe Interaktionen in vereinfachte Ausdrücke zu bündeln. Dieses Verhalten kann die Qualität der extrahierten Komponenten beeinträchtigen, da wichtige Details übersehen oder die Nutzerinteraktionen falsch dargestellt werden könnten.

#Empfehlungen für zukünftige Arbeiten

Basierend auf den Ergebnissen unserer Studien empfehlen wir mehrere Ansätze für zukünftige Arbeiten. Zunächst könnte das Fine-Tuning von Sprachmodellen mit Domänenwissen helfen, ihr Verständnis für spezifische Kontexte und Anforderungen zu verbessern. Dies würde die Genauigkeit der extrahierten Komponenten erhöhen, insbesondere in Bezug auf Datenschutzpraktiken.

Ein weiterer Vorschlag betrifft die Forschung zu Prompt-Mustern, die konstant qualitativ hochwertige Extraktionen liefern. Durch die Identifizierung dieser Muster können Entwickler ein Toolkit von Prompts erstellen, das zur Verbesserung der Leistung von Sprachmodellen für die Anforderungsextraktion verwendet werden kann.

Schliesslich empfehlen wir, das Potenzial von Sprachmodellen zu erkunden, zusätzliche Artefakte zu generieren, die in den Design- und Entwicklungsphasen hilfreich sein könnten, wie z.B. Datenmodelle und funktionale Spezifikationen auf Basis der Nutzeranforderungen.

#Fazit

Das Wachstum von mobilen Anwendungen betont die Notwendigkeit eines soliden Verständnisses von Nutzeranforderungen. Dieses Papier präsentiert einen neuen Ansatz zur Extraktion von Anwendungsfallkomponenten aus nutzerverfassten Szenarien durch den Einsatz fortschrittlicher Sprachmodelle wie ChatGPT. Obwohl unsere Ergebnisse darauf hindeuten, dass bedeutende Fortschritte bei der Automatisierung der Anforderungsextraktion erzielt wurden, bleiben Herausforderungen bestehen.

ChatGPT kann bei der Identifizierung von Anwendungsfallkomponenten helfen, aber es muss sorgfältig auf das Prompt Engineering geachtet werden, um die Ausgabequalität zu maximieren. Zukünftige Forschung und Entwicklung in diesem Bereich versprechen, die Praxis der Anforderungserfassung und -analyse in der dynamischen Welt der mobilen App-Entwicklung weiter zu verbessern.