Ein neues System zur Erstellung von Ereignisschemas

Schema-Induktion ist eine Methode, um ein Diagramm zu erstellen, das zeigt, wie Ereignisse in einer bestimmten Situation ablaufen. Traditionelle Methoden basieren hauptsächlich auf Informationen aus Textquellen, haben aber oft nicht die nötige menschliche Beteiligung. In diesem Ansatz präsentieren wir ein System, das menschliche Eingaben in entscheidenden Phasen einbezieht, um die Qualität des erstellten Schemas zu verbessern. Dieses System nutzt fortschrittliche Sprachmodelle, um nützliche Komponenten zu generieren.

Unser System besteht aus mehreren Schritten, die zusammen ein vollständiges Schema bilden. Diese Schritte beinhalten die Generierung von Schritten für das Szenario, die Erstellung einfacher Knoten aus diesen Schritten, den Aufbau eines Graphen zur Verbindung der Knoten und schliesslich die Verknüpfung dieser Knoten mit einer anerkannten Ontologie. Durch den Vergleich unseres Ansatzes mit älteren Methoden zeigen wir, dass unser System sich besser an neue Situationen anpassen kann, während der menschliche Aufwand für jede Aufgabe minimiert wird.

In letzter Zeit gibt es ein wachsendes Interesse daran, Ereignisse in natürlicher Sprache zu verstehen. Dieser Fokus hat zu besseren Leistungen in verschiedenen Aufgaben geführt, die mit Ereigniserkennung zu tun haben, wie Fragen beantworten, Texte zusammenfassen und Falschinformationen identifizieren. Im Kern dieses Verständnisses stehen Ereignisschemas, die zusammenfassen, wie komplizierte Ereignisse in der Regel ablaufen. Dieses Konzept hat sich im Laufe der Zeit weiterentwickelt, von einfachen Aktionssequenzen hin zu komplexeren grafischen Darstellungen.

Zum Beispiel, wenn man einen "Cyberangriff" betrachtet, könnte das Schema in Teile wie "Zugriff erlangen", "System kontrollieren", "Dateien exfiltrieren" und "Systemprotokolle ändern" zerlegt werden. Das Verständnis der Verbindungen zwischen diesen Aktionen ist entscheidend. Zum Beispiel muss der Zugriff erlangt werden, bevor die Protokolle geändert werden, da der Zugriff eine Voraussetzung für diese Aktion ist.

Unser Schemasystem umfasst vier Hauptphasen: Schritt-Generierung, Knotenextraktion, Graphkonstruktion und Knotenverknüpfung. Jede Phase arbeitet zusammen, um ein umfassendes Schema für das jeweilige Szenario zu erstellen. Die menschliche Beteiligung ist entscheidend, da sie hilft, Fehler zu identifizieren und zu korrigieren, die von Maschinen erzeugt werden.

Ziel unseres Ansatzes ist es, Schemata zu erstellen, die sowohl genau als auch zuverlässig sind. Menschliche Eingaben helfen, falsche oder unvollständige Ausgaben, die eine Maschine möglicherweise produziert, herauszufiltern. Diese Überprüfung ist besonders wichtig in Szenarien mit hohen Einsätzen, wie bei öffentlichen Gesundheitsnotfällen, wo die Qualität der Informationen grossen Einfluss haben kann.

In unserem Flussdiagramm ist die erste Phase die Schritt-Generierung. Hier erstellen wir Schritte, die das Szenario mithilfe von Eingabeaufforderungen beschreiben. Die nächste Phase ist die Knotenextraktion, bei der wir die erzeugten Schritte in Subjekt-Verb-Objekt-Paare vereinfachen, die die Grundlage für unsere Knoten bilden. Danach findet die Graphkonstruktion statt, die die Knoten basierend auf den Beziehungen zwischen ihnen verbindet. Die letzte Phase, die Knotenverknüpfung, ordnet diese Knoten einer anerkannten Ontologie, wie Wikidata, zu.

Während dieses Prozesses verlässt sich jede Phase auf grosse Sprachmodelle, um Vorschläge zu unterbreiten. Nutzer können mit dem System interagieren, die Ausgaben überprüfen und überarbeiten, die vom Modell generiert werden. Diese Interaktion schafft eine Partnerschaft zwischen Menschen und Maschinen, die zu besseren, genaueren Schemata führt.

Die Flexibilität unseres Systems erlaubt es Nutzern, entweder von Grund auf neu zu starten oder bestehende Ausgaben zu bearbeiten. Zudem können die Sprachmodelle für verschiedene vortrainierte Versionen gewechselt werden, was die Anpassungsfähigkeit erhöht. Die benutzerfreundliche Oberfläche fördert einfache Modifikationen in jeder Phase und macht es effektiver im Vergleich zu älteren Methoden.

Wenn wir uns auf die Schritt-Generierung konzentrieren, nutzen wir Eingabeaufforderungen, um detaillierte Schritte für das Szenario zu erstellen. Wenn das Szenario zum Beispiel von einem Krankheitsausbruch handelt, können die Eingabeaufforderungen eine Reihe von Ereignissen initiieren, die beschreiben, was während dieser Situation passiert. In der Phase der Knotenextraktion picken wir die wichtigsten Aktionen und deren Subjekte und Objekte heraus, um die Knoten zu bilden, die in der Graphkonstruktionsphase verbunden werden.

Während der Graphkonstruktion werden die Beziehungen zwischen den Knoten identifiziert und festgelegt, um zu visualisieren, wie die Ereignisse zusammenpassen. Die Benutzeroberfläche ermöglicht es den Nutzern, diese Strukturen ganz einfach zu modifizieren - Knoten hinzuzufügen, zu löschen oder zu ändern und deren Verbindungen nach Bedarf anzupassen.

Schliesslich stellen wir in der Knotenverknüpfung sicher, dass die Knoten mit bestehenden Konzepten in einer strukturierten Ontologie verknüpft sind. Dieser Schritt ist wichtig, um sicherzustellen, dass jeder Knoten die Bedeutung des Ereignisses, das er repräsentiert, genau erfasst. Auf diese Weise schaffen wir Schemata, die in zukünftigen Aufgaben referenziert werden können, was Konsistenz und Genauigkeit gewährleistet.

Durch Fallstudien haben wir gezeigt, wie unser System in der Praxis funktioniert. Zum Beispiel haben wir bei der Erstellung eines Schemas für einen Cyberangriff Schritte erzeugt und anschliessend Knoten generiert und einen Graphen basierend auf diesen Knoten konstruiert. Am Ende haben wir die Knoten mit einer anerkannten Ontologie verknüpft, um sicherzustellen, dass sie die Konzepte genau repräsentierten.

Um unseren Ansatz zu bewerten, haben wir Feedback von Nutzern gesammelt, die Erfahrung in der Verarbeitung natürlicher Sprache haben. Sie konnten die Genauigkeit der generierten Schritte und Knoten sowie die Leichtigkeit, mit der sie die Ausgaben bearbeiten und ändern konnten, bewerten. Die Ergebnisse zeigten, dass der Ansatz mit menschlicher Beteiligung die Qualität der erstellten Schemata erheblich verbessert.

Obwohl unser System beeindruckende Ergebnisse gezeigt hat, gibt es immer noch Bereiche, in denen Verbesserungen möglich sind. Die aktuellen Eingabeaufforderungen basieren auf begrenzten Beispielen, und die Verfeinerung dieser Eingabeaufforderungen mit mehr von Menschen kuratierten Daten könnte zu besseren Ergebnissen führen. Ausserdem deutet das Feedback der Nutzer darauf hin, dass es wertvoll sein könnte, eine visuelle Darstellung des Schemas in verschiedenen Phasen zur Unterstützung des Verständnisses einzubeziehen.

Darüber hinaus müssen ethische Überlegungen angesprochen werden. Aktuelle Sprachmodelle können Vorurteile widerspiegeln, die in ihren Trainingsdaten vorhanden sind. Das kann die Ereignisse und Szenarien, die sie erzeugen, beeinflussen. Unser Ziel ist es, diese Vorurteile zu mindern und eine breite Repräsentation verschiedener Kulturen und Kontexte in zukünftigen Schemata zu gewährleisten.

Zusammenfassend bietet unser System ein kollaboratives Modell zur Erstellung von Schemata, das sowohl fortschrittliche maschinelle Lerntechniken als auch menschliche Eingaben nutzt. Indem wir die Nutzer in jeder Phase einbeziehen, streben wir an, hochwertige, zuverlässige Ereignisschemas zu produzieren, die in verschiedenen Anwendungen genutzt werden können. Weitere Entwicklungen werden weiterhin dazu beitragen, diesen Ansatz zu verbessern und ihn in Zukunft noch effektiver zu machen.