Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Computerwissenschaften# Künstliche Intelligenz

Sicherheitsabschlüsse für autonome Agenten verbessern

Neue Sicherheitsblenden beheben Verzögerungen in autonomen Systemen, um einen sichereren Betrieb zu gewährleisten.

― 6 min Lesedauer


SicherheitsabschirmungenSicherheitsabschirmungenfür autonome FahrzeugeEchtzeitsystemen verwalten.indem sie Verzögerungen inNeue Schilde verbessern die Sicherheit,
Inhaltsverzeichnis

Agenten, die in echten Umgebungen unterwegs sind, haben oft Verzögerungen beim Wahrnehmen und Handeln. Das liegt daran, dass es Zeit braucht, um Daten zu sammeln und für den Agenten zu reagieren. Um die Sicherheit zu gewährleisten, werden „Schilde“ eingesetzt. Diese Schilde sind spezielle Systeme, die die Aktionen eines Agenten überwachen und sie korrigieren, wenn sie zu unsicheren Situationen führen könnten. Das Ziel ist, den Agenten korrekt arbeiten zu lassen, während so wenig Störung wie möglich verursacht wird.

Viele bestehende Systeme berücksichtigen die Verzögerungen in ihren Sicherheitsüberprüfungen nicht. In diesem Artikel werden wir besprechen, wie man Sicherheitsschilde erstellt, die diese Verzögerungen effektiv handhaben können. Ausserdem zeigen wir, wie diese Schilde erfolgreich in einen Fahrzeugsimulator integriert wurden, um ihre Effektivität in realen Fahrzenarien zu testen.

Bedeutung von Sicherheitsschildern

Sicherheitsschilde dienen als Sicherheitsnetz für autonome Agenten. Sie überwachen die Aktionen des Agenten und intervenieren, wenn es nötig ist. Der Zweck ist es, dem Agenten ein freies Handeln zu ermöglichen, während sichergestellt wird, dass er keine Handlungen vornimmt, die zu Unfällen oder unsicheren Situationen führen könnten.

Damit ein Schild richtig funktioniert, muss es schnell agieren können. Es muss die sicherste Option bestimmen, wenn die Entscheidungen des Agenten zu einem Sicherheitsverstoss führen könnten. Die Entscheidungen des Schilde sollten ausserdem zukünftige Unterbrechungen der Aktivitäten des Agenten minimieren.

Umgang mit Verzögerungen in der Sicherheitsanalyse

Ein grosses Problem mit bestehenden Sicherheitsystemen ist, dass sie die Verzögerungen, die in realen Situationen auftreten, nicht berücksichtigen. Verzögerungen können durch langsame Datenerhebung oder -verarbeitung entstehen. Diese Verzögerungen zu ignorieren kann zu Sicherheitsproblemen führen, besonders für Agenten in komplexen Umgebungen.

Um dies zu veranschaulichen, denken wir an ein autonomes Auto, das versucht, einen Fussgänger zu vermeiden. Das Auto muss seine Aktionen basierend darauf planen, wo der Fussgänger sein könnte und Verzögerungen in seinen Wahrnehmungsfähigkeiten berücksichtigen. Wir schlagen neue Methoden vor, um Sicherheitsschilde zu entwerfen, die mit diesen Verzögerungen umgehen können und sicheres Handeln gewährleisten, selbst wenn die Informationen nicht ganz aktuell sind.

Erstellung von verzögerungsresilienten Schilden

Das Design von verzögerungsresilienten Schilden beinhaltet die Implementierung spezifischer Algorithmen, die potenzielle Verzögerungen vorhersagen und den Agenten darauf vorbereiten, sicher zu handeln. Indem man das schlimmste Szenario für Verzögerungen berücksichtigt, kann das Schild einen sicheren Handlungsweg berechnen.

Um diese Schilde zu erstellen, müssen wir zuerst ein Modell aufstellen, das die möglichen Interaktionen zwischen dem Agenten und seiner Umgebung beschreibt. Dieses Modell ähnelt einem Spiel, in dem der Agent versucht, unsichere Ergebnisse zu vermeiden, während die Umgebung Herausforderungen darstellt.

Unser Ansatz beinhaltet die Berechnung einer "Gewinnstrategie", basierend auf diesem Modell, die dem Agenten hilft, die besten Entscheidungen im Hinblick auf mögliche Verzögerungen zu treffen.

Implementierung von Schilden in einem Fahrzeugsimulator

Wir haben unsere verzögerungsresilienten Schilde in einem realistischen Fahrzeugsimulator namens Carla angewendet. Durch die Modifikation des Standardfahreragenten in Carla haben wir Szenarien erstellt, in denen der Agent sicher arbeiten musste, trotz Verzögerungen beim Wahrnehmen der Umgebung.

In diesen Szenarien musste das Auto des Agenten schnelle Entscheidungen treffen, wenn es sich Kreuzungen näherte, ohne das genaue Verhalten anderer Fahrzeuge zu kennen. Das Schild analysierte verschiedene Verkehrssituationen und stellte sicher, dass der Agent Kollisionen vermeiden konnte, selbst wenn es Verzögerungen beim Wahrnehmen der Bewegungen anderer Fahrzeuge gab.

Szenario 1: Kollision vermeiden mit Autos

In unserem ersten Experiment konzentrierten wir uns auf ein Szenario, in dem zwei Autos einer Kreuzung ohne klare Signale näher kamen. Die Aufgabe des Schilde war es, sicherzustellen, dass das Auto des Agenten Kollisionen vermeiden konnte, basierend auf den potenziellen Aktionen des anderen Autos, das sich unvorhersehbar ändern konnte.

Durch die Simulation der Umgebung beobachteten wir, wie das Auto des Agenten auf verschiedene Verzögerungen reagierte. Wie erwartet, intervenierte das Schild bei zunehmender Verzögerung häufiger, um die Sicherheit zu gewährleisten. Zum Beispiel konnte das Auto ohne Verzögerung rechtzeitig bremsen, um Gefahr zu vermeiden. Allerdings, als die Verzögerung zunahm, liess das Schild das Auto früher bremsen, um potenzielle Risiken durch die Aktionen des anderen Autos vorherzusehen.

Szenario 2: Kollision vermeiden mit Fussgängern

Im zweiten Experiment testeten wir die Fähigkeit des Schilde, Kollisionen mit Fussgängern zu verhindern. Das Auto des Agenten musste basierend auf der potenziellen Bewegung der Fussgänger um ihn herum reagieren. Das Schild stellte sicher, dass das Auto auch mit Verzögerungen beim Wahrnehmen der Fussgänger sicher handelte.

Während das Schild die Situation überwachte, stellte sich heraus, dass es mit längeren Verzögerungen früher bremsen musste. Das Schild zielte darauf ab, die Chancen zu verringern, unerwartet auf Fussgänger zu treffen, und passte das Verhalten des Agenten basierend auf den besten verfügbaren Informationen an.

Szenario 3: Experiment in der Gitterwelt

Neben Autos und Fussgängern testeten wir unseren Schildansatz auch in einer einfacheren Umgebung, der Gitterwelt. In diesem Setup musste ein Roboter vermeiden, mit einem Kind, das sich zufällig im Gitter bewegte, zu kollidieren.

Das Schild stellte sicher, dass der Roboter sichere Entscheidungen traf. Wie in den Fahrzeugszenarien beobachteten wir, dass je länger die Verzögerungen waren, desto häufiger das Schild intervenieren musste, um die Sicherheit aufrechtzuerhalten.

Leistungs- und Synthesezeiten messen

In allen Szenarien massen wir sorgfältig, wie oft das Schild eingreifen musste und wie schnell es in der Lage war, die notwendigen Antworten zu synthetisieren. Die Ergebnisse zeigten, dass mit zunehmenden Verzögerungen die Leistung des Agenten abnahm, was häufigere Eingriffe des Schilde erforderte.

Die Synthesezeiten variieren je nach Komplexität des Szenarios, aber insgesamt erwiesen sich die verzögerungsresilienten Schilde als effektiv. Im Experiment in der Gitterwelt verglichen wir die Leistung von Schilden, die sich auf verschiedene Sicherheitsstrategien konzentrierten. Die Ergebnisse waren ähnlich, was darauf hindeutet, dass beide Ansätze effektive Sicherheit erreichen konnten, während sie Unterbrechungen minimierten.

Fazit

Die Entwicklung von verzögerungsresilienten Schilden stellt einen wichtigen Fortschritt bei der Gewährleistung der Sicherheit autonomer Agenten in realen Szenarien dar. Indem wir Verzögerungen beim Wahrnehmen und Handeln berücksichtigen, können wir Systeme schaffen, die die Sicherheit aufrechterhalten, selbst wenn sie mit Unsicherheiten konfrontiert werden.

Diese Schilde wurden erfolgreich in verschiedenen Szenarien getestet und zeigen ihre Fähigkeit, die Komplexität realer Umgebungen zu managen. Zukünftige Arbeiten werden sich darauf konzentrieren, diese Schilde weiter zu verbessern, um eine bessere Leistung in unvorhersehbareren und dynamischeren Umgebungen zu erreichen.

Durch die Weiterentwicklung der Technologie hinter der Sicherheit in autonomen Systemen können wir den Weg für sicherere Interaktionen zwischen Maschinen und Menschen ebnen. Während wir in diesem Bereich weiter innovieren, wächst das Potenzial für sicherere autonome Agenten, die bessere und zuverlässigere Dienstleistungen in unserem täglichen Leben bieten.

Originalquelle

Titel: Safety Shielding under Delayed Observation

Zusammenfassung: Agents operating in physical environments need to be able to handle delays in the input and output signals since neither data transmission nor sensing or actuating the environment are instantaneous. Shields are correct-by-construction runtime enforcers that guarantee safe execution by correcting any action that may cause a violation of a formal safety specification. Besides providing safety guarantees, shields should interfere minimally with the agent. Therefore, shields should pick the safe corrective actions in such a way that future interferences are most likely minimized. Current shielding approaches do not consider possible delays in the input signals in their safety analyses. In this paper, we address this issue. We propose synthesis algorithms to compute \emph{delay-resilient shields} that guarantee safety under worst-case assumptions on the delays of the input signals. We also introduce novel heuristics for deciding between multiple corrective actions, designed to minimize future shield interferences caused by delays. As a further contribution, we present the first integration of shields in a realistic driving simulator. We implemented our delayed shields in the driving simulator \textsc{Carla}. We shield potentially unsafe autonomous driving agents in different safety-critical scenarios and show the effect of delays on the safety analysis.

Autoren: Filip Cano Córdoba, Alexander Palmisano, Martin Fränzle, Roderick Bloem, Bettina Könighofer

Letzte Aktualisierung: 2023-07-05 00:00:00

Sprache: English

Quell-URL: https://arxiv.org/abs/2307.02164

Quell-PDF: https://arxiv.org/pdf/2307.02164

Lizenz: https://creativecommons.org/licenses/by/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.

Mehr von den Autoren

Ähnliche Artikel