ReBound: Ein praktisches Tool für 3D-Labeling in selbstfahrenden Autos

In den letzten Jahren ist es super wichtig geworden, Computer zu trainieren, um Objekte in 3D-Umgebungen zu erkennen, vor allem für selbstfahrende Autos. Diese Autos müssen ihre Umgebung sehen und verstehen, um sicher fahren zu können. Forscher schauen sich an, wie man diesen Autos beibringt, Dinge wie andere Fahrzeuge, Fussgänger und Verkehrsschilder zu erkennen, indem sie grosse Datensätze, sogenannte Datasets, nutzen. Einige bekannte Datasets für diesen Zweck sind nuScenes und Argoverse 2.0. Leider haben diese Datasets oft fehlende oder falsche Beschriftungen. Das bedeutet, dass einige Objekte in den Bildern oder Scans nicht richtig markiert sind, was es erschwert, dem Auto das präzise Sehen beizubringen.

#Das Problem mit bestehenden Datasets

Meistens, wenn wir eine Szene mit LiDAR (das misst Entfernungen mit Licht) oder Kameras anschauen, gibt es viele Objekte drumherum. Diese Objekte müssen richtig beschriftet sein, um das Erkennungssystem effektiv zu trainieren. Leider sind in einigen Datasets Objekte in grösserer Entfernung vielleicht nicht korrekt beschriftet. Zum Beispiel könnte im nuScenes-Dataset alles, was weiter als 50 Meter entfernt ist, nicht einheitlich beschriftet sein. Das kann Probleme verursachen, wenn wir wollen, dass das Auto Dinge in der Ferne erkennt, wie Strassenschilder oder Ampeln, die für sicheres Fahren wichtig sind.

Manuelles Korrigieren dieser Beschriftungen ist nicht einfach. Wenn man 2D-Bilder benutzt, ist es schwer zu erkennen, wie weit etwas entfernt ist, während 3D-Punktwolken von LiDAR knifflig sein können, da die Daten spärlich sein können. Das macht es schwierig, Objekte zu identifizieren, besonders die, die weiter weg oder unter vielen anderen Dingen versteckt sind.

Es gibt Services, die bei dieser Beschriftung helfen können, aber die können ganz schön teuer sein. Deshalb wurden mehrere Tools entwickelt, um schnelles und einfaches Beschriften zu ermöglichen, aber die unterstützen oft nicht viele verschiedene Datenformate. Ausserdem erlauben sie vielleicht keine tiefere Analyse oder Aktives Lernen, bei dem das System aus seinen Fehlern lernt und sich im Laufe der Zeit verbessert.

#Einführung von ReBound

Um diese Probleme anzugehen, haben wir ReBound geschaffen, ein kostenloses Tool für 3D-Beschriftungen. Mit diesem Tool können Nutzer bestehende Datasets oder Vorhersagen von Computer-Modellen beschriften, ändern oder löschen. Mit ReBound können Nutzer die Beschriftungen so anpassen, dass sie besser zu ihren Bedürfnissen passen, vor allem für Lernzwecke.

ReBound unterstützt verschiedene Datasets, darunter nuScenes, Waymo und Argoverse 2.0. Es kann die spezifischen Formate dieser Datasets in ein allgemeines Format umwandeln, das leicht verwaltet und verstanden werden kann. So können Nutzer mit verschiedenen Datentypen arbeiten, ohne von Formatierungsproblemen aufgehalten zu werden.

#So funktioniert ReBound

ReBound bietet mehrere Funktionen, die das Beschriften und Visualisieren von 3D-Daten erleichtern. Das Tool hat drei Hauptbereiche: ein Steuerfenster, einen Punktwolken-Viewer und einen RGB-Bild-Viewer. Das Steuerfenster ermöglicht es den Nutzern, zwischen verschiedenen Datenrahmen zu wechseln, während der Punktwolken-Viewer die 3D-Daten und alle Anmerkungen anzeigt. Nutzer können hineinzoomen, herauszoomen und die Ansicht drehen, um Objekte aus verschiedenen Perspektiven zu sehen.

Wenn man ReBound benutzt, kann man direkt auf Punkte in der 3D-Ansicht klicken, um neue Beschriftungen hinzuzufügen, bestehende zu bearbeiten oder Beschriftungen zu löschen, die nicht mehr benötigt werden. Um diese Änderungen vorzunehmen, können Nutzer einfach eine 3D-Box, die ein Objekt darstellt, auswählen und ihre Position, Grösse und Orientierung über das Steuerfenster anpassen. Diese Änderungen werden sofort in den Ansichtsfenstern angezeigt, sodass klar ist, welche Anpassungen vorgenommen wurden.

Das Tool erlaubt zwei Arten von Bewegungen: horizontale Änderungen, die es den Nutzern ermöglichen, Objekte nach links oder rechts zu bewegen, und vertikale Änderungen, die es den Nutzern ermöglichen, Höhe oder Orientierung anzupassen. So können die Nutzer präzise Anpassungen vornehmen oder neue Beschriftungen mit nur einem Klick erstellen.

ReBound vereinfacht nicht nur den Beschriftungsprozess, sondern ermöglicht es den Nutzern auch, die Qualität der Vorhersagen von Modellen zu analysieren. Nutzer können sehen, welche erkannten Objekte möglicherweise Korrekturen brauchen, basierend darauf, wie genau die Vorhersagen des Modells sind, was den Lernprozess reibungsloser und effektiver macht.

#Unterstützung von aktivem Lernen

Ein grosser Vorteil von ReBound ist, wie es aktives Lernen unterstützt. Aktives Lernen ist eine Methode, um die Modellleistung zu verbessern, indem man sich auf die wichtigsten Beispiele konzentriert. Anstatt jedes einzelne Bild oder jeden Scan zu labeln, erlaubt dieser Ansatz den Forschern, nur die informativsten Datenpunkte zu beschriften. Indem man sich auf die Daten konzentriert, bei denen das Modell unsicher ist, können Nutzer die Genauigkeit des Systems schnell verbessern.

ReBound hilft in diesem Prozess, indem es den Nutzern ermöglicht, Vorhersagen nach der Zuversicht des Modells bezüglich seiner Beschriftungen zu filtern. Das macht es einfacher für Forscher, ihre Bemühungen dorthin zu lenken, wo sie am dringendsten benötigt werden, und sorgt dafür, dass der Lernprozess effizient und effektiv ist.

#Nutzererfahrung

Um zu bewerten, wie einfach ReBound zu bedienen ist, haben wir Umfragen mit verschiedenen Teilnehmern durchgeführt. Wir haben sie gebeten, nach einer Demonstration mehrere Aufgaben mit dem Tool zu erledigen. Das Feedback hat Bereiche hervorgehoben, in denen die Nutzer das Tool intuitiv fanden, sowie Herausforderungen, denen sie gegenüberstanden.

Viele Teilnehmer fanden, dass das Erstellen, Ändern und Löschen von Beschriftungen unkompliziert war. Allerdings gaben sie auch an, dass das Drehen und Verschieben von 3D-Boxen herausfordernder sein könnte und etwas Übung erfordere, besonders für diejenigen, die wenig Erfahrung mit 3D-Tools hatten.

Mehrere Teilnehmer erwähnten, dass das Tool für Forscher, die an selbstfahrender Technologie arbeiten, nützlich sein könnte. Die Möglichkeit, Beschriftungen einfach anzupassen, wurde als wichtiges Merkmal angesehen, das dazu beitragen könnte, die Genauigkeit von Objekterkennungssystemen zu verbessern.

#Visualisierung von Anmerkungen

Mit ReBound können Nutzer visualisieren, wie gut die Beschriftungen mit den tatsächlichen Objekten in der Umgebung übereinstimmen. Das ist entscheidend, da schlechte Beschriftungen zu weniger genauen Modellen führen können. Zum Beispiel, wenn die Position eines beschrifteten Autos nicht mit der echten Position des Autos übereinstimmt, könnte das das Modell verwirren.

Durch die Nutzung von ReBound können Nutzer leicht erkennen, wenn eine Anmerkung nicht richtig ausgerichtet ist, und sie korrigieren. Wenn eine Beschriftung für ein Fahrzeug falsch platziert ist, können Nutzer sie anpassen, bis sie die Position des echten Autos genau widerspiegelt. Das stellt sicher, dass die Modelle mit hochwertigen Daten trainiert werden, was letztendlich zu besserer Leistung führt.

#Fazit

Die akademische Gemeinschaft entwickelt das Gebiet der Objekterkennung ständig weiter. Allerdings haben die Datasets, die zum Trainieren selbstfahrender Autos verwendet werden, oft Einschränkungen, insbesondere was die Beschriftungen angeht. ReBound bietet eine Open-Source-Lösung, um Forschern und Entwicklern das erneute Annotieren vorhandener Daten zu erleichtern.

Indem es den Beschriftungsprozess vereinfacht und aktives Lernen unterstützt, ermöglicht ReBound Nutzern, die Qualität ihrer Daten zu verbessern, was zu besseren Ergebnissen beim Training von 3D-Objekterkennungsmodellen führt. Durch das Feedback von Nutzern haben wir herausgefunden, dass ReBound effektiv ist, um Nutzern das schnelle Hinzufügen, Ändern und Löschen von Anmerkungen zu ermöglichen, was es zu einem nützlichen Tool im sich entwickelnden Bereich der autonomen Fahrzeuge macht.