Automatisierung der Sicherheitsgarantie: Der CoDefeater-Ansatz

Wenn es um sicherheitskritische Systeme geht, wie sie im Gesundheitswesen, Transport, Energie und der Luftfahrt verwendet werden, ist es super wichtig, dass sie sicher betrieben werden. Wenn diese Systeme ausfallen, kann das ernste Folgen haben und Menschen, die Umwelt und Eigentum schädigen. Deswegen gibt's einen grossen Bedarf an Methoden, um zu zeigen, dass diese Systeme sicher sind.

Eine Möglichkeit ist der Prozess, der als Assurance Cases bezeichnet wird. Ein Assurance Case legt Behauptungen darüber dar, wie ein System funktioniert, und liefert Argumente und Beweise zur Unterstützung dieser Behauptungen. Ein Problem dabei ist, dass Assurance Cases manchmal wichtige Punkte oder Argumente übersehen, die die Behauptungen schwächen, die als Defeater bekannt sind. Diese Defeater sind wie Zweifel oder Beweise, die die gemachten Behauptungen in Frage stellen. Es ist wichtig, diese Defeater zu erkennen und anzugehen, um sicherzustellen, dass die Sicherheitsbehauptungen gültig und zuverlässig sind.

#Was sind Defeater?

Defeater heben Probleme oder Lücken in den Beweisen hervor, die die Behauptungen unterstützen. Wenn zum Beispiel eine Behauptung sagt, dass ein Akku genug Ladeleistung hat, könnte ein Defeater auf einen Fehler im Überwachungssystem des Akkus hinweisen, der zu einer falschen Annahme über den Ladezustand führen könnte.

In vielen Fällen hängt das Auffinden dieser Defeater von der Expertise und dem Urteil von Sicherheitsanalysten ab. Das macht den Prozess ziemlich arbeitsintensiv und zeitaufwendig. Sicherheitsanalysten müssen oft kreativ über mögliche Schwächen in den Argumenten nachdenken, was die Sache komplizierter macht. Die sich ständig weiterentwickelnde Technologie und Vorschriften erschweren das Ganze zusätzlich, weshalb es wichtig ist, Assurance Cases kontinuierlich zu überprüfen und zu aktualisieren.

#CoDefeater: Ein automatisierter Ansatz

Um beim Finden von Defeatern zu helfen, stellen wir einen Prozess namens CoDefeater vor. Diese Methode nutzt grosse Sprachmodelle (LLMs), um bei der Identifizierung und Generierung von Defeatern für Assurance Cases zu helfen. LLMs sind Computer-Modelle, die menschliche Sprache verstehen und generieren können, was sie zu nützlichen Werkzeugen für verschiedene Aufgaben in der Softwaretechnik macht.

Die Idee hinter CoDefeater ist, dass die Verwendung von LLMs den Prozess der Defeatererkennung automatisieren und ihn schneller und effizienter machen könnte. Erste Ergebnisse aus Tests mit CoDefeater an realen Assurance Cases zeigen, dass LLMs effektiv sowohl bekannte als auch unbekannte Defeater identifizieren können. Das könnte Sicherheitsanalysten mehr Vertrauen in ihre Assurance Cases geben, indem es deren Vollständigkeit und Zuverlässigkeit verbessert.

#Erklärung der Assurance Cases

Ein Assurance Case wird strukturiert aufgebaut. Er besteht aus Behauptungen darüber, wie ein System in einem bestimmten Umfeld funktionieren wird, unterstützt durch Argumente und Beweise. Es gibt mehrere formale Notationen zur Dokumentation dieser Fälle. Häufige Beispiele sind Goal Structuring Notation und Claims-Arguments-Evidence.

Allerdings entsteht ein Problem, wenn diese Notationen nicht völlig umfassend sind oder Unsicherheiten aufweisen. Das kann dazu führen, dass man Vertrauen in Behauptungen hat, die einer Überprüfung möglicherweise nicht standhalten, was letztendlich zu Misserfolgen führen kann. Ein bekanntes Beispiel dafür ist ein Luftfahrtunfall, der durch unzureichendes Denken im Sicherheitsfall eines Systems verursacht wurde.

Um Assurance Cases zu stärken, ist es wichtig, Defeater zu identifizieren und zu behandeln, die Lücken in der Argumentation oder den Beweisen aufzeigen. Die Identifizierung von Defeatern bleibt eine Herausforderung und ist normalerweise ein manueller Prozess. Das führt zu einem Risiko von Vorurteilen, bei dem menschliche Analysten wichtige Punkte übersehen könnten.

#Die Rolle der Sprachmodelle

Jüngste Fortschritte haben gezeigt, dass LLMs helfen können, verschiedene Aufgaben in der Softwaretechnik zu automatisieren, einschliesslich der Generierung von Tests und dem Auffinden von Defekten in Systemen. Diese Modelle haben auch in Aufgaben, die komplexes Verständnis erfordern, wie der Anforderungserhebung und der Erstellung von Code, vielversprechende Ergebnisse gezeigt. Aufgrund dieser Fähigkeiten haben wir begonnen zu untersuchen, ob LLMs bei der Identifizierung von Defeatern innerhalb von Assurance Cases helfen können.

Trotz des zunehmenden Interesses an der Verwendung von LLMs für diesen Zweck gab es einen Mangel an empirischen Studien, die deren Effektivität untersuchen. Daher wollten wir das Potenzial von LLMs bewerten, um bei der Identifizierung von Defeatern zu helfen und Sicherheitsanalysten in diesem Prozess zu unterstützen.

#Forschungsfragen

Um unsere Untersuchung zu leiten, konzentrierten wir uns auf zwei Hauptfragen:

1. Wie effektiv sind LLMs bei der Identifizierung und Analyse von Defeatern in Assurance Cases?
2. Können LLMs Praktikern helfen, neue und nützliche Defeater zu generieren?

#Experimentaufbau

Wir führten Experimente mit zwei Assurance Cases durch. Der erste Fall kam vom Large Hadron Collider, der sicherstellen musste, dass sein Maschinenschutzsystem Schäden verhindern konnte. Der zweite Fall handelte von kleinen unbemannten Luftfahrzeugsystemen (SUAS), wobei speziell die Behauptung angesprochen wurde, dass der Akku ausreichend geladen war für seine Mission.

Zur Analyse der Effektivität des LLM verwendeten wir ChatGPT, ein bekanntes Sprachmodell. Die Experimente umfassten Aufgaben für das Modell und die Bewertung seiner Antworten auf Genauigkeit und Relevanz.

#Bewertungskriterien

Angesichts der Komplexität der Aufgaben benötigten wir eine klare Möglichkeit, die Leistung des Modells zu bewerten. Wir stützten uns auf menschliche Bewertungen, um die Antworten als vollständige Übereinstimmungen, teilweise Übereinstimmungen oder keine Übereinstimmungen im Vergleich zu etablierten Ground-Truth-Defeatern zu kategorisieren.

Für die Bewertung neuer Defeater überprüften wir, ob die vom LLM generierten Defeater sinnvoll waren und potenziell in die Ground-Truth passten. Dieser Ansatz zielte darauf ab, die Kreativität und Effektivität des Modells bei der Generierung neuer Ideen zu bewerten.

#Ergebnisse

#Effektivität bei der Identifizierung von Defeatern

Die Ergebnisse zeigten, dass das LLM effektiv bei der Identifizierung von Defeatern war. In einer Zero-Shot-Einstellung, in der das Modell keine vorherigen Beispiele hatte, gelang es ihm, eine signifikante Anzahl von Defeatern vollständig zu identifizieren und andere teilweise zu identifizieren. Selbst in komplexen Fällen war die Leistung des Modells bemerkenswert gut.

Allerdings blieben einige Defeater unentdeckt, oft solche, die spezifisches Fachwissen erforderten oder implizierte Annahmen in Frage stellten. Wenn zum Beispiel eine Behauptung in Bezug auf überwachte Signale analysiert wurde, könnte das LLM einen Defeater übersehen, der die Gültigkeit des überwachten Signals in Frage stellte.

#Nutzen bei der Generierung neuer Defeater

Als wir das LLM baten, zusätzliche Defeater für den sUAS-Fall bereitzustellen, generierte es erfolgreich fünf neue Defeater. Diese wurden bei weiterer Untersuchung als sinnvoll erachtet und hoben potenzielle Probleme im Zusammenhang mit unerwarteten Stromabfällen oder externen Störungen hervor.

Ein interessanter Vorschlag war, dass Vögel den sUAS angreifen könnten, ein Beispiel dafür, wie LLMs helfen können, Risiken zu identifizieren, die anfangs vielleicht nicht in den Sinn kommen.

#Herausforderungen und Chancen

Obwohl die Ergebnisse vielversprechend waren, traten mehrere Herausforderungen auf. Die Gestaltung effektiver Eingaben für das LLM erwies sich als entscheidend, da sie die Qualität der Antworten stark beeinflussten. Das richtige Gleichgewicht zwischen der Generierung kreativer Ideen und der Relevanz für die jeweilige Aufgabe blieb eine laufende Herausforderung.

Darüber hinaus lieferte das LLM nicht nur Defeater, sondern auch Begründungen für seine Vorschläge. Dies könnte Analysten helfen, die Machbarkeit eines Defeaters zu verstehen und potenzielle Lösungsansätze zu finden. Zukünftige Forschungen können bessere Techniken zur Aufforderung des LLM erkunden, um dessen Fähigkeiten zu erweitern.

#Fazit und Ausblick

Der CoDefeater-Prozess bietet einen innovativen Ansatz, um Defeater in Assurance Cases mithilfe von LLMs zu entdecken. Unsere Experimente zeigten die Zero-Shot-Fähigkeiten des Modells bei der Identifizierung bekannter Defeater und sein Potenzial, Analysten bei der Generierung neuer Defeater zu unterstützen.

Für die Zukunft sind umfassendere Studien nötig, um diese Ergebnisse zu validieren und verschiedene Modelle und Techniken zu erkunden. Mit der Zeit könnten Verbesserungen der LLMs und deren Training zu noch besserer Leistung bei der Unterstützung von Sicherheitsanalysten mit Assurance Cases führen, was letztlich zu sichereren und zuverlässigeren Systemen beiträgt.