Fortschritte in der Robotik für Menschliche Nachverfolgung
Neues System verbessert das Tracking von Robotern bei Personen in verschiedenen Umgebungen.
― 6 min Lesedauer
Inhaltsverzeichnis
Menschliches Folgen ist eine wichtige Eigenschaft für Roboter, die mit Menschen zusammenarbeiten. Es hilft Robotern, bei verschiedenen Aufgaben zu unterstützen, wie zum Beispiel beim Liefern von Dingen oder beim Helfen von Personen in Not. Allerdings kann es im echten Leben knifflig sein, jemandem zu folgen, wegen Herausforderungen wie Menschenmengen, Hindernissen oder wenn die Person nicht zum Roboter schaut.
Um das menschliche Folgen effektiver zu machen, wurde ein neues System entwickelt, das sich auf die Identifizierung und Verfolgung von Personen konzentriert. Dieses System basiert auf einem Modul zur Personenwiedererkennung, das aus drei Hauptteilen besteht: visuelle Informationen rund um die Zielperson erfassen, sie anhand ihrer Gesichter und Körper erkennen und vorhersagen, wo sie als Nächstes hingehen werden. Das Ziel ist, den Robotern zu helfen, einer bestimmten Person reibungslos und sicher zu folgen.
Hauptmerkmale des menschlichen Folgesystems
Das menschliche Folgesystem hat mehrere wichtige Merkmale. Erstens kann es eine Person verfolgen, selbst wenn sie sich schnell bewegt oder sich vom Roboter wegdreht. Zweitens, wenn die Person aus dem Kamerabereich verschwindet, kann der Roboter sie trotzdem finden. Drittens kann der Roboter um Hindernisse navigieren, während er die Person im Blick behält. Und schliesslich kann das System eine Person in einer Menge erkennen, was es in belebten Umgebungen nützlich macht.
Das Modul zur Personenwiedererkennung spielt eine zentrale Rolle bei der Realisierung dieser Funktionen. Es umfasst:
360-Grad-Visuelle Registrierung: Dieser Prozess erfasst Bilder aus allen Winkeln der Person, um sie zu erkennen, selbst wenn sie nicht zur Kamera schaut. Das ist eine Verbesserung gegenüber älteren Methoden, die nur auf Frontal- und Rückansichten fokussierten.
Identifizierung anhand von Gesichtern und Oberkörper: Statt den ganzen Körper zu betrachten, verwendet das System hauptsächlich Gesichter zur Identifikation, da sie sehr ausgeprägte Merkmale haben. Wenn das Gesicht verdeckt ist, wechselt es zur Identifizierung des Oberkörpers.
Bewegungsverfolgung: Das System verwendet Bewegungsverfolgung, um vorherzusagen, wo die Person als Nächstes hingehen wird. Das ist entscheidend, wenn die Person für einen Moment nicht sichtbar ist, sodass der Roboter nah bleibt und sie effektiver folgen kann.
Das menschliche Folgesystem beinhaltet auch zusätzliche Funktionen für sicheres Navigieren, wie das Vermeiden von Hindernissen und das Finden von Personen, wenn sie aus dem Sichtfeld geraten. Jede Komponente arbeitet zusammen, um sicherzustellen, dass der Roboter sein Ziel effizient verfolgen kann.
Anwendungsbeispiele in der realen Welt
Die Verbesserungen im menschlichen Folgen können in verschiedenen Anwendungen von Vorteil sein. Zum Beispiel können autonome Lieferroboter diese Funktionen nutzen, um Pakete zu finden und an Kunden zu liefern. Roboter, die ältere Menschen in Gesundheitsumgebungen unterstützen, können besser helfen, indem sie ihre Pflegekräfte erkennen und ihnen folgen. Zudem können Haushaltsroboter, die beim Putzen helfen, in Wohnungen navigieren und dabei Familienmitglieder im Blick behalten.
Das System wurde auch in Büroumgebungen mit Hindernissen getestet, wo ein Roboter gebeten wurde, einer Person zu folgen, die sich zu verschiedenen Markierungen oder entlang eines festgelegten Pfades bewegte. Bei diesen Tests zeigten sich deutliche Verbesserungen in der Leistung beim Einsatz des neuen Wiedererkennung Moduls.
Verwandte Arbeiten
Früher basierten Systeme zum menschlichen Folgen auf einfachen Verfolgungsmethoden, die in komplexen Umgebungen leicht versagen konnten, zum Beispiel wenn eine Person teilweise verborgen war oder es viele Menschen gab. Frühe Methoden verwendeten einfache Signale wie LED-Lichter oder grundlegende Farberkennung. Diese Ansätze hatten oft Schwierigkeiten, die Genauigkeit der Verfolgung in dynamischen Umgebungen aufrechtzuerhalten.
Mit den Fortschritten in der Technologie haben neuere Systeme begonnen, die Personenwiedererkennung als zusätzliche Funktion zu integrieren. Viele verlassen sich jedoch noch auf ältere Techniken, die sich als weniger effektiv erwiesen haben im Vergleich zu dem neuen Ansatz, der umfassende visuelle Daten und maschinelles Lernen nutzt.
So funktioniert das neue System
Das neue menschliche Folgesystem verwendet eine Pipeline zur Personenverfolgung und Wiedererkennung, die aus mehreren Schritten besteht:
Körpererkennung: Jeder Bildrahmen wird analysiert, um menschliche Figuren zu erkennen, mithilfe eines fortschrittlichen Erkennungsmodells, das Körperformen und -positionen identifiziert.
Bewegungsverfolgung: Der Bewegungstracker verfolgt, wohin sich die erkannte Person bewegt, indem jeder Person eine einzigartige ID zugewiesen wird, sodass das System sie genau verfolgen kann, auch wenn das Signal gelegentlich verloren geht.
Gesichts- und Oberkörperidentifikation: Das System verwendet separate Modelle, um sich auf das Gesicht und den Oberkörper der Person zu konzentrieren. Dieser doppelte Ansatz ermöglicht eine bessere Genauigkeit, da Gesichter normalerweise die deutlichsten Identifikatoren sind, der Oberkörper jedoch hilfreich sein kann, wenn das Gesicht nicht sichtbar ist.
Der Registrierungsprozess
Um jemandem zu folgen, registriert der Roboter zuerst seine Merkmale durch einen 360-Grad-Prozess. Die Person wird gebeten, sich umzudrehen, während der Roboter Bilder aus verschiedenen Winkeln sammelt und ein Set von Gesichts- und Oberkörpermerkmalen erstellt. Diese Registrierung dauert nur etwa 20 Sekunden und erfasst eine breite Palette an Informationen, die für später gespeichert werden.
Wiedererkennungsmodul
Wenn eine Person aus dem Sichtfeld verloren geht, wechselt das System in einen Wiedererkennungsmodus. Es vergleicht die gespeicherten Merkmale aus dem Registrierungsprozess mit den Gesichtern und Oberkörpern von derzeit sichtbaren Personen. Dieser Vergleich hilft zu bestimmen, ob einer von ihnen die Zielperson ist. Wenn sie nicht identifiziert werden kann, wechselt der Roboter in den Suchmodus und versucht, die letzte bekannte Position der Person zu finden.
Sicherstellen einer reibungslosen Navigation
Um einer Person effektiv zu folgen, muss der Roboter auch reibungslos um Hindernisse navigieren. Er nutzt ein Dual-Kamera-Setup, wobei eine Weitwinkelkamera für kurze Distanzen und eine Tiefenkamera für die Verfolgung auf grössere Entfernungen eingesetzt wird. Der Roboter wechselt zwischen den Kameras, je nachdem, wie weit die Person entfernt ist, was eine insgesamt bessere Navigation ermöglicht.
Die Bewegungsbefehle des Roboters werden durch einfache visuelle Hinweise bei Verwendung der Weitwinkelkamera und durch komplexere Planung bei Nutzung der Tiefenkamera bestimmt. Diese Kombination hilft dem Roboter, Kollisionen zu vermeiden und sicher in belebten Umgebungen zu navigieren.
Suchverhalten
Wenn der Roboter seine Zielperson aus den Augen verliert, kann er trotzdem nach ihr suchen, indem er sich an die letzte bekannte Position erinnert. Er nimmt sich einen Moment, um sich umzudrehen und sich umzuschauen, was die Chancen erhöht, die Person wiederzuerkennen.
Leistungsbewertung
Um zu bewerten, wie gut das System funktioniert, wurden verschiedene Tests durchgeführt, bei denen der Roboter Personen in unterschiedlichen Szenarien folgte. Es wurden Messungen vorgenommen, um zu analysieren, wie schnell der Roboter seinem Ziel folgte, der Abstand zwischen ihnen und wie oft er die Person aus den Augen verlor. Die Ergebnisse zeigten, dass das neue System ältere Methoden deutlich übertraf und erfolgreich eine Person in überfüllten Umgebungen und bei schnellem Bewegen im Blick halten konnte.
Teilnehmer wurden auch zu ihren Erfahrungen mit dem System befragt. Sie berichteten, dass sie sich sicher und wohl fühlten mit der Fähigkeit des Roboters, ihnen zu folgen, besonders wenn das System Pfadplanung für die Navigation verwendete.
Fazit
Zusammenfassend bringt das neue menschliche Folgesystem für mobile Roboter mehrere Verbesserungen gegenüber älteren Methoden mit sich. Durch die Integration eines robusten Moduls zur Personenwiedererkennung mit fortschrittlichen Verfolgungs- und Identifikationstechniken kann der Roboter effektiv Personen in realen Szenarien folgen. Diese Entwicklung kann den Nutzen von Robotern in verschiedenen Bereichen, von Lieferdiensten bis zur Gesundheitsversorgung, steigern und die Interaktion zwischen Mensch und Roboter reibungsloser und effizienter gestalten.
Titel: Human Following in Mobile Platforms with Person Re-Identification
Zusammenfassung: Human following is a crucial feature of human-robot interaction, yet it poses numerous challenges to mobile agents in real-world scenarios. Some major hurdles are that the target person may be in a crowd, obstructed by others, or facing away from the agent. To tackle these challenges, we present a novel person re-identification module composed of three parts: a 360-degree visual registration, a neural-based person re-identification using human faces and torsos, and a motion tracker that records and predicts the target person's future position. Our human-following system also addresses other challenges, including identifying fast-moving targets with low latency, searching for targets that move out of the camera's sight, collision avoidance, and adaptively choosing different following mechanisms based on the distance between the target person and the mobile agent. Extensive experiments show that our proposed person re-identification module significantly enhances the human-following feature compared to other baseline variants.
Autoren: Mario Srouji, Yao-Hung Hubert Tsai, Hugues Thomas, Jian Zhang
Letzte Aktualisierung: 2023-09-21 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2309.12479
Quell-PDF: https://arxiv.org/pdf/2309.12479
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.