NOMAD: Ein Datensatz für die Erkennung von Personen aus der Luft

Mit der zunehmenden Beliebtheit von kleinen Drohnen in Notfällen wie Suche und Rettung ist ihre Fähigkeit, Menschen aus der Luft zu erkennen, entscheidend. Allerdings wird es schwieriger, Personen aus der Vogelperspektive zu erkennen. Es wurden viele Datensätze erstellt, um bei diesem Problem zu helfen. Aber keiner konzentriert sich speziell darauf, was passiert, wenn Menschen nicht sichtbar sind, was in Notfällen wichtig ist. NOMAD, oder Natural Occluded Multi-scale Aerial Dataset, wurde entwickelt, um eine Lösung zu bieten. Es umfasst verschiedene Höhen und unterschiedliche Bildtypen, um Menschen zu erkennen, die möglicherweise teilweise versteckt sind.

NOMAD besteht aus 100 verschiedenen Darstellern, die Aktionen wie Gehen, Liegen und Verstecken ausführen. Es umfasst insgesamt 42.825 Frames, die aus hochwertigen Videos stammen. Jeder Frame ist sorgfältig markiert, um zu zeigen, wie viel von der Person sichtbar ist, was Forschern hilft zu sehen, wie gut ihre Computer Vision-Modelle unter verschiedenen Sichtbarkeitsbedingungen funktionieren.

#Die Bedeutung von Computer Vision in der Notfallhilfe

Drohnen mit Computer Vision können in Notfällen schnell wichtige Informationen sammeln. Sie können grosse Bereiche überfliegen und helfen, Menschen zu finden, die Hilfe benötigen. Das ist besonders wichtig in Situationen, in denen Zeit entscheidend ist. Zum Beispiel kann es bei einer Naturkatastrophe den Unterschied zwischen Leben und Tod ausmachen, Überlebende schnell zu finden. Drohnen können verwendet werden, um Personen zu erkennen, die in Trümmern, unter Wasser oder von Rauch obscuriert sind.

Allerdings bringt die Nutzung von Computer Vision zur Erkennung von Menschen aus der Luft Herausforderungen mit sich, besonders wenn eine Person nicht vollständig sichtbar ist. Das kann aus vielen Gründen passieren, wie Hindernisse in der Umgebung oder der Kamerawinkel. Zum Beispiel könnte eine ertrinkende Person nur teilweise über Wasser sein, oder jemand könnte hinter Bäumen oder Trümmern nach einer Katastrophe verborgen sein.

Drohnen stehen auch vor Herausforderungen durch die Umwelt selbst, wie Wind, Regen und schlechte Sichtverhältnisse. Diese Faktoren können es der Kamera der Drohne erschweren, eine klare Sicht auf das, was darunter ist, zu bekommen. Daher ist ein Datensatz, der sich auf diese Verdeckungsprobleme konzentriert, für die Entwicklung besserer Computer Vision-Systeme für Drohnen unerlässlich.

#Was ist NOMAD?

Der NOMAD-Datensatz zielt darauf ab, eine umfassende Ressource für Forscher zu bieten, die an der Erkennung von Personen aus der Luft arbeiten. Er enthält Videos und Bilder aus verschiedenen Standorten, Jahreszeiten und Demografien der beteiligten Personen. Das hilft sicherzustellen, dass die auf NOMAD trainierten Modelle in verschiedenen realen Situationen gut abschneiden können.

Der Datensatz besteht aus:

1. Natürlichen Umgebungen: Die Drehorte sind unterschiedlich, darunter Schulen, Parks, Seen, Steinbrüche und Bauernhöfe, was eine breite Palette von Hintergründen für die Drohnen bietet.

2. Verdeckungslevels: Jeder Darsteller zeigt unterschiedliche Sichtbarkeitsgrade, mit einem System, das kategorisiert, wie viel von ihnen zu einem bestimmten Zeitpunkt sichtbar ist. So können Modelle unter verschiedenen Verdeckungsbedingungen getestet werden.

3. Multiskala: Der Datensatz bietet fünf verschiedene Drehhöhen, von 10 bis 90 Metern, um eine umfassende Sicht zu bieten, um Computer Vision-Systeme zu trainieren und zu testen.

Forscher können bewerten, wie gut ihre Modelle Personen erkennen, basierend darauf, wie viel von der Person sichtbar ist und aus welcher Entfernung.

#Der Prozess der Erstellung von NOMAD

NOMAD wurde mit einem sorgfältigen Prozess erstellt, um sicherzustellen, dass die gesammelten Daten nützlich und relevant sind. Dieser Prozess umfasste die Planung und Rekrutierung der richtigen Teilnehmer, die Auswahl der Drehorte und das Filmen der Routinen jedes Darstellers.

#Teilnehmerauswahl

Um einen vielfältigen Datensatz zu erstellen, wurden die Teilnehmer in NOMAD ausgewählt, um eine breite Palette von Altersgruppen, Rassen und Geschlechtern zu repräsentieren. Alle Teilnehmer waren über 18 Jahre alt, und es wurde darauf geachtet, ein ausgewogenes Verhältnis der Demografien zu erreichen. So wird sichergestellt, dass der Datensatz reale Szenarien widerspiegelt und die Leistungsfähigkeit der Modelle in verschiedenen Gruppen von Menschen verbessert.

#Drehorte

Die Dreharbeiten fanden an verschiedenen Orten statt, um reiche und vielfältige Hintergründe zu bieten. Jeder Ort hatte seine eigenen Herausforderungen und Hindernisse, die die Sicht behindern könnten. Diese Vielfalt hilft, die Bedingungen zu simulieren, die in tatsächlichen Notfallsituationen auftreten können.

#Drehsitzungen

Während der Dreharbeiten erhielt jeder Darsteller spezifische Anweisungen, um natürliches Verhalten zu simulieren. Die Routinen beinhalteten Aktionen wie sich hinter Hindernissen verstecken, liegen und gehen. Jeder Darsteller wiederholte seine Routinen mehrfach, während die Drohnen aus verschiedenen Höhen filmten. Diese Wiederholung ermöglichte die Sammlung von mehr Frames, die unterschiedliche Winkel und Sichtbarkeitslevel abdeckten.

#Datenannotation

Sobald die Videos gesammelt waren, wurde jeder Frame annotiert, um zu zeigen, wie viel von der Person sichtbar war. Dies wurde manuell durchgeführt, um sicherzustellen, dass die Informationen über Sichtbarkeitslevel genau waren. Insgesamt wurden 42.825 Frames bearbeitet, die jeweils mit einer Begrenzungsbox gekennzeichnet wurden, um die Person hervorzuheben, und einem Sichtbarkeitslevel, um anzugeben, wie viel von ihr gesehen werden konnte.

#Bedeutung natürlichen Verhaltens

Der Schlüssel zur effektiven Personenerkennung liegt darin, sicherzustellen, dass die Daten reale Szenarien widerspiegeln. Indem die Teilnehmer natürlich handeln dürfen, anstatt gezwungen zu werden, bestimmte Aktionen auszuführen, erfasst der Datensatz authentischere Bewegungen. Diese Realität kann die Leistung der Computer Vision-Modelle verbessern, wenn sie in tatsächlichen Notfallhilfe-Situationen angewendet werden, da sie Personen erkennen müssen, die nicht immer im Sichtfeld sind.

#Herausforderungen in der Computer Vision

Computer Vision-Systeme stehen vor vielen Herausforderungen, wenn sie versuchen, Personen aus der Luft zu identifizieren. Verdeckung ist eines der grössten Probleme. Der Datensatz zielt darauf ab, dies zu lösen, indem er zehn Sichtbarkeitsgrade bietet. Wenn der Sichtbarkeitsgrad abnimmt, steigt die Herausforderung für die Erkennungsalgorithmen.

Das Training mit vielfältigen Daten kann den Modellen helfen, diese Herausforderungen zu überwinden und ihre Genauigkeit und Zuverlässigkeit in Notfallsituationen zu verbessern.

#Anwendungen der NOMAD-Daten

Der NOMAD-Datensatz hat mehrere potenzielle Anwendungen:

1. Benchmarking für Verdeckung: Durch das Angebot von zehn Sichtbarkeitsgraden dient NOMAD als Standard zur Bewertung von Verbesserungen bei der Erkennung von Personen, die teilweise verborgen sind.

2. Personenerkennung: Der Datensatz kann in verschiedenen Szenarien verwendet werden, zum Beispiel bei der Suche nach Personen in einem grossen Gebiet mit dem Ziel, jedem, der Hilfe benötigt, zu finden.

3. Personen-Reidentifikation: Wenn eine Person zunächst gesehen wird, aber aus dem Blickfeld gerät, können detaillierte Beschreibungen und Bilder helfen, sie später zu identifizieren. NOMADs reichhaltige Metadaten unterstützen diese Aufgabe.

4. Personenverfolgung: Sobald eine Person erkannt wird, ist es wichtig, ihre Bewegungen im Blick zu behalten. Der Datensatz wurde entwickelt, um Techniken zu bewerten, die darauf abzielen, Individuen bei verschiedenen Aktionen zu verfolgen.

#Beispiele zur Leistungsbewertung

Um zu bewerten, wie gut die Modelle mit NOMAD funktionieren, wurden drei moderne Computer Vision-Modelle getestet. Dazu gehören YOLOv8, FasterRCNN und RetinaNet. Jedes Modell wurde daraufhin bewertet, wie gut es Personen unter unterschiedlichen Sichtbarkeits- und Entfernungsbedingungen erkennen konnte.

Über verschiedene Tests hinweg wurde deutlich, dass diese Modelle zwar unter optimalen Bedingungen gut abschnitten, ihre Genauigkeit jedoch erheblich abnahm, je mehr Verdeckung vorlag oder je weiter die Kamera entfernt war. Das unterstreicht die Notwendigkeit kontinuierlicher Forschung und Entwicklung, um ihre Fähigkeiten in realen Situationen zu verbessern.

#Zukünftige Richtungen

Die Entwicklung des NOMAD-Datensatzes eröffnet viele Möglichkeiten für zukünftige Forschungen. Einige Schlüsselaspekte umfassen:

1. Verbesserung der Erkennung unter Verdeckung: Es kann mehr getan werden, um zu verfeinern, wie Modelle Personen erkennen, die nicht vollständig sichtbar sind.

2. Verbesserung der Personen-Reidentifikation: Weitere Forschung könnte Systeme entwickeln, die Informationen zusammenführen, um die Erkennung von Individuen in verschiedenen Szenarien zu verbessern.

3. Tests in der realen Welt: Der Einsatz von auf NOMAD trainierten Modellen in tatsächlichen Notfallsituationen wird helfen, ihre Leistung und Anpassungsfähigkeit zu verfeinern.

Zusammenfassend lässt sich sagen, dass die Herausforderungen, die durch Verdeckung und Entfernung in Luftansichten entstehen, erheblich sind, aber durch gezielte Forschung und verbesserte Datensätze wie NOMAD angegangen werden können. Durch die fortgesetzte Entwicklung und das Testen dieser Modelle in realen Szenarien können wir die Art und Weise verbessern, wie Drohnen Notfallhelfern helfen, Menschen in Not zu finden und zu unterstützen.