Reinigen von Fussschritt-Vibrationssignalen von Rauschen

Vibrationssignale von Fussschritten können uns viel darüber verraten, was in einem Gebäude passiert. Diese Signale helfen uns zu erkennen, wer drinnen ist, wo sie sich befinden, was sie gerade machen und sogar wie gesund die Struktur ist. Leider sind die Signale, die wir sammeln, oft mit Lärm vermischt, weil es verschiedene äussere Einflüsse gibt, wie Umgebungsgeräusche und elektronische Störungen. Dieser Lärm kann es schwierig machen, die Signale genau zu analysieren, was zu Fehlern in unseren Ergebnissen führen kann.

#Verwandte Arbeiten

Es gibt viele Forschungen darüber, wie man laute Signale bereinigen kann. Traditionell wurden verschiedene Methoden verwendet, um Rauschen in Dingen wie Sprache, Tiergeräuschen und Herzsignalen zu reduzieren. Diese Methoden fallen normalerweise in zwei Kategorien: traditionelle Techniken und Deep-Learning-Techniken.

Zu den traditionellen Methoden gehören Dinge wie Filtern und statistische Ansätze. Ein gängiges Verfahren ist das Wiener Filtern, das hilft, Rauschen basierend auf bestimmten Annahmen über den Schall zu entfernen. Im Gegensatz dazu sind Deep-Learning-Methoden in den letzten Jahren populär geworden, weil sie mit sich ändernden und komplexen Geräuschumgebungen umgehen können. Es wurden verschiedene neuronale Netzwerkmodelle zur Reinigung von Signalen entwickelt, wie RNNoise, Demucs und DCCRN, die grossartige Ergebnisse bei der Bereinigung von Signalen gezeigt haben.

Unser Fokus liegt darauf, Rauschen aus Signalen zu reduzieren, die durch Fussschritte verursacht werden. Wir schauen uns zwei Arten von Rauschen an: stationäres Rauschen, das konstant ist und Dinge wie weisses Rauschen umfassen kann, und nicht-stationäres Rauschen, das sich häufig ändert, wie Geräusche von fallenden Gegenständen oder schliessenden Türen.

Da wir schwer an ein sauberes Vibrationssignal ohne Rauschen kommen, haben wir eine Simulationsmethode verwendet, um hochwertige Signale zu erstellen und dann gängige Rauscharten hinzuzufügen für unser Training und Testing. Wir haben auch echte Daten gesammelt, indem wir Vibrationen aufgezeichnet haben, die durch Gegenstände verursacht wurden, die den Boden berührten.

#Synthetische Datensätze

Um die Vibrationssignale zu erzeugen, haben wir ein Tool namens Abaqus benutzt, um ein Modell zu bauen, das die Vibrationen simuliert, die auftreten, wenn etwas den Boden berührt. Wir haben verschiedene Dinge im Modell angepasst, wie wo wir den Sensor platziert haben und wie dick der Boden war. So konnten wir verschiedene Signale erstellen.

Mit den sauberen Signalen aus dieser Simulation haben wir Gausssches Rauschen hinzugefügt, um reale Situationen nachzuahmen. Jedes Signalsatz bestand aus etwa 1 Million Datenpunkten, was zu viel für unser Modell war, also haben wir sie in kleinere Stücke von 500 Punkten aufgeteilt. Insgesamt hatten wir rund 112.224 Datensegmente.

Da die Nutzung von Abaqus teuer sein kann, haben wir auch andere Methoden genutzt. Mit einem Solver von SciPy haben wir einen weiteren Datensatz von 100.000 synthetischen Zeitreihensignalen mit hinzugefügtem Rauschen erstellt. Dieser Ansatz vereinfachte das physikalische Modell, wie Böden vibrieren, wenn Fussschritte vorhanden sind.

Zusätzlich haben wir echte Daten vom Boden gesammelt. Wir haben 900 Vibrationssignale aufgenommen, die durch Gegenstände verursacht wurden, die den Boden berührt haben, und weitere 900 von Fussschritten. Es gibt auch einen Datensatz, der Musikrauschen enthält, das aufgenommen wurde, während ein Lautsprecher in der Nähe der Sensoren Musik spielte. Dieser Datensatz half uns, ein klareres Bild davon zu bekommen, wie man nützliche Signale vom Rauschen trennen kann.

#Aufgaben, Methoden und Ergebnisse

#Aufgabe 1: Reduzierung stationären Rauschens

Für stationäres Rauschen wie Gausssches Rauschen haben wir ein rekurrentes neuronales Netzwerk (RNN) entwickelt, um das Rauschen aus unseren synthetischen Daten herauszufiltern. Wir haben das Modell mit einer Verlustfunktion trainiert, um zu messen, wie gut es performt. Nach einiger Trainingszeit haben wir einen signifikanten Rückgang des Verlusts gesehen, was zeigt, dass das Modell besser darin wurde, die Signale zu reinigen.

Um unsere Methode noch weiter zu verbessern, haben wir mit zusätzlichen Features aus dem Frequenzbereich experimentiert, die mehr Details über die Vibrationen erfassen. Durch die Verwendung eines bi-direktionalen LSTM (eine Art RNN) zeigten unsere Ergebnisse eine deutliche Verbesserung bei der Reinigung der verrauschten Signale im Vergleich zu unserem ursprünglichen Modell.

#Aufgabe 2: Reduzierung nicht-stationären Rauschens

Als nächstes haben wir uns angeschaut, wie man mit nicht-stationärem Rauschen, wie Geräuschen von fallenden Gegenständen, umgeht. Zunächst gingen wir davon aus, dass die Vibrationen von Fussschritten und Gegenständen sich nicht gegenseitig stören. Das erlaubte uns, ein einfaches konvolutionales neuronales Netzwerk (CNN) zu bauen, um die beiden Arten von Vibrationen zu klassifizieren. Das Modell hat sehr gut abgeschnitten und eine Genauigkeit von 99 % erreicht.

In einem anderen Szenario haben wir überlappendes Rauschen mit Musikgeräuschen betrachtet. Dafür haben wir ein U-Net verwendet, das eine spezifische Netzwerkarchitektur ist, die für solche Aufgaben bekannt ist. Nach der Feinabstimmung unserer Hyperparameter haben wir einen signifikanten Rückgang des Fehlers nach dem Reinigungsprozess festgestellt, was die Fähigkeit des Netzwerks zeigt, die Signale effektiv zu trennen.

#Aufgabe 3: Allgemeine Rauschreduzierung mit RNNoise

Wir haben auch RNNoise untersucht, ein Modell, das ursprünglich entwickelt wurde, um die Sprachklarheit von Hintergrundgeräuschen zu verbessern. Obwohl dieses Modell für Sprache gedacht ist, wollten wir sehen, wie gut es auch unsere Vibrationssignale reinigen konnte. Durch das Mischen von sauberen Signalen mit Rauschen haben wir die Trainingsdaten für RNNoise erstellt.

Wir haben getestet, wie gut RNNoise mit den Signalen mit Gauss- und Musikrauschen funktioniert hat. Unsere Ergebnisse zeigten, dass RNNoise eine gute Arbeit geleistet hat, besonders bei Gaussschem Rauschen, aber es hatte Schwierigkeiten mit Musikrauschen wegen seiner unvorhersehbaren Natur. Als wir uns den gereinigten Output angehört haben, bemerkten wir eine deutliche Reduzierung des Gaussschen Rauschens, aber etwas Musikrauschen war immer noch vorhanden.

#Zusammenfassung und Fazit

In dieser Arbeit haben wir verschiedene Methoden zur Reinigung von Vibrationssignalen, die durch Fussschritte verursacht wurden, untersucht. Wir haben uns auf zwei Haupttypen von Rauschen konzentriert: stationäre und nicht-stationäre Geräusche.

Für stationäres Rauschen haben wir erfolgreich ein RNN-Modell verwendet, das Dropout-Techniken einsetzt, um Rauschen effektiv zu reduzieren. Ausserdem haben wir bi-direktionale LSTM-Modelle erforscht, die Frequenzbereichs-Features einbeziehen, was zu noch besseren Ergebnissen führte.

Beim Umgang mit nicht-stationären Geräuschen haben wir zwischen Rauschen, das sich nicht mit den Signalen überlappt, und Rauschen, das sich überlappt, unterschieden. Das CNN-Modell, das wir für die erste Situation verwendet haben, erzielte eine hohe Genauigkeit, während das U-Net-Modell sich als effektiv in der Trennung von Musikrauschen von den nützlichen Signalen erwies.

Schliesslich haben wir RNNoise für die allgemeine Rauschreduzierung untersucht und gezeigt, dass es die Fehlerraten erheblich senken und die Klarheit unserer Vibrationssignale verbessern konnte. Während dieses Projekts haben wir das Potenzial von Deep-Learning-Methoden zur effektiven Reinigung von Vibrationssignalen demonstriert und den Weg für bessere Anwendungen dieser Technologie in der realen Welt geebnet.