Verbesserung der Tests für cyber-physische Systeme

Cyber-Physische Systeme (CPS) sind Systeme, die Hardware und Software kombinieren, um mit der physischen Welt zu interagieren. Diese Systeme werden in vielen Anwendungen eingesetzt, von kleinen unbemannten Luftraumsystemen (SUAS) bis hin zu fortschrittlichen robotischen Anwendungen. Allerdings können Ausfälle in diesen Systemen ernsthafte Unfälle verursachen, die Menschen verletzen oder Eigentum beschädigen können. Daher ist es entscheidend, sicherzustellen, dass diese Systeme sicher sind, bevor sie in Betrieb genommen werden.

Um dies zu erreichen, sind umfangreiche Tests notwendig, die oft Simulationen und reale Tests im Feld beinhalten. Leider sind viele aktuelle Testpraktiken nicht gründlich und fehlen an Struktur. Dieses Papier stellt ein neues Framework vor, das darauf abzielt, die Testprozesse für CPS zu verbessern, insbesondere mit Fokus auf sUAS.

#Verständnis für den Bedarf an verbesserten Tests

Tests sind ein wesentlicher Bestandteil bei der Entwicklung sicherer Software- und Hardwaresysteme. Sie helfen dabei, Fehler und Leistungsprobleme vor der Bereitstellung zu identifizieren. Für sicherheitskritische Anwendungen werden Testergebnisse oft als Nachweis verwendet, dass das System sicher zu verwenden ist. Viele CPS, insbesondere sUAS, leiden jedoch unter einem Mangel an strukturierten Testprozessen. Das führt zu Szenarien, in denen:

1. Systeme in Simulationen getestet werden, die die realen Bedingungen nicht widerspiegeln und wichtige Faktoren wie Wind und Wetter ignorieren.
2. Es kein umfassendes Testsystem gibt, das sicherstellt, dass alle Szenarien abgedeckt sind.
3. Eine standardisierte Sicherheitsanalyse nicht ordnungsgemäss durchgeführt wird, weil die Verbindungen zwischen Simulationsergebnissen und Sicherheitspraktiken unklar sind.

Diese Lücken im Testprozess können dazu führen, dass unsichere Systeme in Betrieb genommen werden.

#Erstellung eines Frameworks für bessere Tests

Um diesen Herausforderungen zu begegnen, haben wir ein neues Framework entwickelt, das speziell für das Testen von CPS konzipiert ist. Dieses Framework konzentriert sich auf sUAS und robotische Anwendungen und hat das Ziel, einen strukturierten Ansatz für Tests zu bieten.

Ein wichtiger Aspekt dieses Frameworks ist, dass es die Notwendigkeit detaillierter Anforderungen und Validierungsprozesse betont. Bevor Tests durchgeführt werden können, sind klare Definitionen dessen, was das System können soll, notwendig. Diese Anforderungen leiten den gesamten Testprozess.

#Die Bedeutung von Sicherheitsanforderungen

Sicherheitsanforderungen sind entscheidend in CPS, da diese Systeme oft in Umgebungen arbeiten, in denen Menschenleben gefährdet sein könnten. Daher ist es wichtig festzulegen, welche Sicherheitsmassnahmen vorhanden sein müssen und zu testen, ob die Systeme unter verschiedenen Bedingungen sicher betrieben werden können.

In unserem Framework schlagen wir vor, zwei Arten von Modellen zu verwenden:

1. Anforderungsmodell: Dieses erfasst sowohl funktionale als auch sicherheitsrelevante Anforderungen.
2. Verifikationsvalidierungs (VV) Modell: Dieses enthält wichtige Eigenschaften, die während der Tests überprüft werden müssen, einschliesslich Umweltfaktoren wie Windbedingungen oder Beleuchtung.

Durch die Verwendung klarer Modelle stellen wir sicher, dass alle notwendigen Bedingungen für einen sicheren Betrieb während des Testprozesses berücksichtigt werden.

#Überblick über den Testprozess

Unser Testframework besteht aus mehreren Phasen, die den gesamten Prozess leiten. Jede Phase ist darauf ausgelegt, sicherzustellen, dass die Systeme gründlich getestet werden, bevor sie in Betrieb genommen werden.

#1. Testdesign und Management

Dieser erste Schritt beinhaltet die Erstellung eines Plans für Tests. Es legt fest, welche Szenarien getestet werden müssen und welche Bedingungen erfüllt sein müssen. Das Ziel hier ist, einen klaren, strukturierten Ansatz für Tests zu skizzieren, der unabhängig von der tatsächlichen Durchführung der Tests ist.

#2. Generierung von Testgeschichten

Nachdem die Testszenarien definiert sind, besteht der nächste Schritt darin, detaillierte Testgeschichten zu erstellen. Diese Geschichten verwandeln die allgemeinen Testspezifikationen in konkrete, ausführbare Aufgaben, die angeben, wie Tests in spezifischen Umgebungen durchgeführt werden sollen.

#3. Testdurchführung

Diese Phase umfasst die Ausführung der definierten Tests in einer kontrollierten Umgebung, entweder in einer simulierten Umgebung oder unter realen Bedingungen. Während dieser Tests werden Daten gesammelt, um die Leistung im Vergleich zu den definierten Anforderungen zu bewerten.

#4. Testanalyse und Reporting

Nach der Durchführung der Tests müssen die gesammelten Daten analysiert werden. Dies beinhaltet die Überprüfung, ob die Ergebnisse den Erwartungen entsprechen, die in den Anforderungen festgelegt wurden. Berichte werden erstellt, um die Ergebnisse zusammenzufassen, einschliesslich etwaiger Fehler oder bemerkenswerter Beobachtungen.

#5. Nachverfolgbarkeit und Rückkopplung

Diese letzte Phase betont die Wichtigkeit, die Testergebnisse zurück zu den ursprünglichen Anforderungen zu verlinken. Diese Nachverfolgbarkeit hilft, Verbesserungsbereiche zu identifizieren und informiert notwendige Änderungen an den ursprünglichen Designs und Modellen.

#Herausforderungen bei sUAS-Tests angehen

sUAS stehen aufgrund ihrer Betriebsumgebungen vor einzigartigen Herausforderungen. Probleme wie unberechenbare Windbedingungen können ihre Leistung stark beeinträchtigen.

#Einschränkungen der aktuellen Simulationswerkzeuge

Derzeit replizieren viele Simulationswerkzeuge, die für Tests von sUAS verwendet werden, die realen Bedingungen nicht ausreichend. Zum Beispiel simulieren sie möglicherweise nur grundlegende Windbedingungen und ignorieren die Komplexität der tatsächlichen Umgebung.

#Bedarf an umfassenden Testansätzen

Viele bestehende Testmethoden konzentrieren sich auf isolierte Aspekte des Systems anstatt auf das gesamte System. Das bedeutet, dass wichtige Interaktionen zwischen verschiedenen Komponenten des sUAS möglicherweise übersehen werden.

Unser Framework zielt darauf ab, diese Lücken zu schliessen, indem es Anleitungen zur Integration verschiedener Testansätze bietet, um eine umfassende Bewertung sicherzustellen.

#Anwendung des Frameworks: Ein praktisches Beispiel

Um unser Framework zu bewerten, haben wir es auf ein praktisches Beispiel angewendet, das ein sUAS-System umfasst, das sich in der Entwicklung befindet. Wir wollten spezifische Anforderungen testen, die mit dem Betrieb bei schwierigen Wetterbedingungen und der Kollisionserkennung zu tun haben.

#Anforderungen für Tests

1. R1: Das sUAS muss einen Flug mit mehreren Wegpunkten absolvieren und dabei mit Windböen umgehen.
2. R2: Das sUAS muss während des Fluges Kollisionen mit statischen Objekten, Gelände oder anderen Flugzeugen vermeiden.

Durch die Festlegung dieser Anforderungen konnten wir spezifische Bedingungen schaffen, die simuliert werden mussten, wie z.B. Windgeschwindigkeiten und Hindernisdichte.

#Nutzung von Simulationsumgebungen

Wir haben Simulationsumgebungen genutzt, um diese Anforderungen zu testen. Zum Beispiel ermöglicht eine Umgebung die Simulation verschiedener Wetterbedingungen, einschliesslich Wind und Regen. Diese Fähigkeit war entscheidend, um R1 und R2 effektiv zu testen.

#Testdurchführung und Datensammlung

Während der Tests wurden alle relevanten Daten gesammelt, um die Leistung des sUAS im Vergleich zu den festgelegten Anforderungen zu bewerten. Diese Phase beinhaltete auch die Überwachung von Umweltfaktoren und deren Auswirkungen auf den Betrieb des sUAS.

#Verallgemeinerung des Frameworks

Obwohl unser Framework ursprünglich für sUAS entwickelt wurde, glauben wir, dass es auch für andere Arten von robotischen Anwendungen angepasst werden kann. Ähnliche Testprozesse könnten beispielsweise auf autonome Roboter in Umgebungen wie intelligenten Lagern angewendet werden.

#Zukünftige Evaluierungsaktivitäten

Wir planen, unser Framework weiter zu evaluieren, indem wir es auf zusätzliche Szenarien anwenden, sowohl im sUAS-Bereich als auch in der Robotik. Zudem werden Nutzerstudien helfen, die Effektivität des Frameworks aus der Perspektive von Entwicklern und Testern zu bewerten.

#Forschungsrichtungen

Während wir unsere Arbeit fortsetzen, haben wir mehrere Bereiche für zukünftige Forschung umrissen:

1. Verbesserung der Nachverfolgbarkeit: Die Etablierung effektiver Methoden zur Rückverfolgbarkeit von Anforderungen zu Testergebnissen wird die Sicherheitsbewertungen verbessern.
2. Sicherstellung der Modellkonsistenz: Die Entwicklung von Strategien, um verschiedene Modelle verknüpft zu halten, wird helfen, Inkonsistenzen im Testprozess zu vermeiden.
3. Erstellung strukturierter Testdarstellungen: Wir planen, Möglichkeiten zu erkunden, um Testgeschichten klar auszudrücken und gleichzeitig verschiedene Ausführungsumgebungen zuzulassen.
4. Mapping von Simulatorfunktionen: Die Dokumentation der Fähigkeiten verschiedener Simulationswerkzeuge wird helfen, herauszufinden, welche für spezifische Tests geeignet sind.
5. Angehen der Lücke zwischen Simulation und Realität: Wir sind daran interessiert, Wege zu finden, um zu bewerten, wie gut Simulationen mit der realen Leistung übereinstimmen.

#Fazit

Zusammenfassend zielt dieses Framework darauf ab, die Tests von CPS zu verbessern, mit einem klaren Fokus auf Sicherheit und Effektivität. Indem es bestehende Lücken in den Testpraktiken anspricht, bietet es einen strukturierten Ansatz, um sicherzustellen, dass Systeme gründlich validiert werden, bevor sie in der realen Welt eingesetzt werden. Während wir unsere Forschung fortsetzen, hoffen wir, dieses Framework weiter zu verfeinern und seine Anwendung in verschiedenen Bereichen zu erkunden.