Simple Science

La science de pointe expliquée simplement

# Informatique# Intelligence artificielle

Améliorer les boucliers de sécurité pour les agents autonomes

De nouveaux boucliers de sécurité traitent les retards dans les systèmes autonomes pour garantir un fonctionnement plus sûr.

― 7 min lire


Boucliers de sécuritéBoucliers de sécuritépour véhicules autonomessystèmes en temps réel.sécurité en gérant les retards dans lesDe nouveaux boucliers améliorent la
Table des matières

Les agents qui opèrent dans des environnements réels font souvent face à des délais quand ils détectent et agissent. Ça prend du temps pour collecter les données et pour que l'agent réagisse. Pour garantir la Sécurité, des "Boucliers" sont utilisés. Ces boucliers sont des systèmes spéciaux qui surveillent les actions d'un agent et les corrigent si elles peuvent mener à des situations dangereuses. Le but est de garder l'agent opérationnel tout en causant le moins de perturbations possible.

Beaucoup de systèmes existants ne tiennent pas compte des délais dans leurs vérifications de sécurité. Dans cet article, on va discuter de comment créer des boucliers de sécurité qui peuvent gérer ces délais de manière efficace. On va aussi montrer comment ces boucliers ont été intégrés avec succès dans un simulateur de conduite pour tester leur efficacité dans des scénarios de conduite réels.

Importance des Boucliers de Sécurité

Les boucliers de sécurité servent de filet de sécurité pour les agents Autonomes. Ils surveillent les actions de l'agent et interviennent si nécessaire. Le but est de permettre à l'agent d'opérer librement tout en s'assurant qu'il ne prenne pas d'actions pouvant mener à des accidents ou à des situations dangereuses.

Pour qu'un bouclier fonctionne correctement, il doit pouvoir agir rapidement. Il doit déterminer l'option la plus sûre quand les décisions de l'agent peuvent mener à une violation de la sécurité. Les décisions prises par le bouclier doivent aussi minimiser les interruptions futures dans les activités de l'agent.

Prendre en Compte les Délais dans l'Analyse de Sécurité

Un gros problème avec les systèmes de sécurité existants est qu'ils ne considèrent pas les délais qui se produisent dans des situations réelles. Des délais peuvent survenir à cause d'une collecte ou d'un traitement de données lents. Ignorer ces délais peut entraîner des problèmes de sécurité, surtout pour les agents dans des environnements complexes.

Pour illustrer cela, prenons le cas d'une voiture autonome essayant d'éviter un piéton. La voiture doit planifier ses actions en fonction de l'endroit où le piéton pourrait être, en tenant compte des délais dans ses capacités de détection. On propose de nouvelles méthodes pour concevoir des boucliers de sécurité qui peuvent gérer ces délais et garantir des actions sûres, même quand l'information n'est pas complètement à jour.

Création de Boucliers Résistants aux Délais

La conception de boucliers résistants aux délais implique la mise en œuvre d'algorithmes spécifiques qui peuvent prédire les délais potentiels et préparer l'agent à agir en toute sécurité. En considérant le pire des scénarios pour les délais, le bouclier peut calculer un parcours d'action sûr.

Pour créer ces boucliers, on doit d'abord établir un modèle qui décrit les interactions possibles entre l'agent et son environnement. Ce modèle est structuré comme un jeu, où l'agent essaie d'éviter les résultats dangereux tandis que l'environnement pose des défis.

Notre approche consiste à calculer une "stratégie gagnante" basée sur ce modèle, ce qui aide l'agent à prendre les meilleures décisions en tenant compte des délais possibles.

Mise en Œuvre des Boucliers dans un Simulateur de Conduite

On a appliqué nos boucliers résistants aux délais dans un simulateur de conduite réaliste appelé Carla. En modifiant l'agent conducteur par défaut dans Carla, on a créé des scénarios où l'agent devait opérer en toute sécurité malgré les délais dans la détection de l'environnement.

Dans ces scénarios, la voiture de l'agent doit prendre des décisions rapides en approchant des intersections sans connaître le comportement exact des autres véhicules. Le bouclier analyse différentes situations de conduite et s'assure que l'agent peut éviter les Collisions, même s'il y a des délais dans la détection des mouvements des autres véhicules.

Scénario 1 : Évitement de Collision avec des Voitures

Dans notre première expérience, on s'est concentré sur un scénario où deux voitures approchaient d'une intersection sans signaux clairs. Le rôle du bouclier était de s'assurer que la voiture de l'agent puisse éviter des collisions, en se basant sur les actions potentielles de l'autre voiture, qui pouvaient changer de manière imprévisible.

En simulant l'environnement, on a observé comment la voiture de l'agent réagissait à différents délais. Comme prévu, avec l'augmentation du délai, le bouclier intervenait plus souvent pour assurer la sécurité. Par exemple, sans délai, la voiture pouvait freiner à temps pour éviter le danger. Cependant, à mesure que le délai augmentait, le bouclier faisait freiner la voiture plus tôt, anticipant les risques potentiels des actions de l'autre voiture.

Scénario 2 : Évitement de Collision avec des Piétons

Dans la deuxième expérience, on a testé la capacité du bouclier à prévenir les collisions avec des piétons. La voiture de l'agent devait réagir en fonction des mouvements potentiels des piétons autour d'elle. Le bouclier s'assurait que la voiture agirait en toute sécurité, même avec des délais dans la détection des piétons.

Alors que le bouclier surveillait la situation, on a constaté qu'il devait commencer à freiner plus tôt avec des délais plus longs. Le bouclier visait à réduire les chances de rencontrer des piétons de manière inattendue, ajustant le comportement de l'agent en fonction des meilleures informations disponibles.

Scénario 3 : Expérience dans un Monde en Grille

En plus des voitures et des piétons, on a aussi testé notre approche de bouclier dans un environnement plus simple appelé un monde en grille. Dans cette configuration, un robot devait éviter de percuter un enfant qui se déplaçait aléatoirement dans la grille.

Le bouclier s'assurait que le robot prenait des décisions sûres. Comme dans les scénarios de conduite, on a observé que plus les délais étaient longs, plus le bouclier devait intervenir fréquemment pour maintenir la sécurité.

Mesurer la Performance et les Temps de Synthèse

Dans tous les scénarios, on a soigneusement mesuré à quelle fréquence le bouclier devait agir et à quelle vitesse il pouvait synthétiser les réponses nécessaires. Les résultats ont montré qu'à mesure que les délais augmentaient, la performance de l'agent diminuait, nécessitant plus d'interventions fréquentes du bouclier.

Les temps de synthèse variaient selon la complexité du scénario, mais dans l'ensemble, les boucliers résistants aux délais se sont révélés efficaces. Dans l'expérience du monde en grille, on a comparé la performance de boucliers qui se concentraient sur différentes stratégies de sécurité. Les résultats étaient similaires, suggérant que les deux approches pouvaient atteindre une sécurité efficace tout en minimisant les interruptions.

Conclusion

Le développement de boucliers résistants aux délais représente une avancée importante pour garantir la sécurité des agents autonomes dans des scénarios réels. En tenant compte des délais dans la détection et l'action, on peut créer des systèmes qui maintiennent la sécurité même face à l'incertitude.

Ces boucliers ont été testés avec succès dans divers scénarios, démontrant leur capacité à gérer les complexités des environnements réels. Les travaux futurs se concentreront sur l'amélioration de ces boucliers, visant une performance accrue dans des environnements plus imprévisibles et dynamiques.

En avançant dans la technologie de la sécurité dans les systèmes autonomes, on peut ouvrir la voie à des interactions plus sûres entre les machines et les humains. Alors qu'on continue à innover dans ce domaine, le potentiel pour des agents autonomes plus sûrs grandit, offrant de meilleurs services, plus fiables, dans notre quotidien.

Source originale

Titre: Safety Shielding under Delayed Observation

Résumé: Agents operating in physical environments need to be able to handle delays in the input and output signals since neither data transmission nor sensing or actuating the environment are instantaneous. Shields are correct-by-construction runtime enforcers that guarantee safe execution by correcting any action that may cause a violation of a formal safety specification. Besides providing safety guarantees, shields should interfere minimally with the agent. Therefore, shields should pick the safe corrective actions in such a way that future interferences are most likely minimized. Current shielding approaches do not consider possible delays in the input signals in their safety analyses. In this paper, we address this issue. We propose synthesis algorithms to compute \emph{delay-resilient shields} that guarantee safety under worst-case assumptions on the delays of the input signals. We also introduce novel heuristics for deciding between multiple corrective actions, designed to minimize future shield interferences caused by delays. As a further contribution, we present the first integration of shields in a realistic driving simulator. We implemented our delayed shields in the driving simulator \textsc{Carla}. We shield potentially unsafe autonomous driving agents in different safety-critical scenarios and show the effect of delays on the safety analysis.

Auteurs: Filip Cano Córdoba, Alexander Palmisano, Martin Fränzle, Roderick Bloem, Bettina Könighofer

Dernière mise à jour: 2023-07-05 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2307.02164

Source PDF: https://arxiv.org/pdf/2307.02164

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires