Innovative Tischplatten: Digitale und physische Welten verbinden
Ein kostengünstiges, platzsparendes Tischsystem verbessert interaktive Erlebnisse.
― 6 min Lesedauer
Inhaltsverzeichnis
Interaktive Tischplatten werden immer beliebter, und viele Firmen entwickeln Geräte, die es Nutzern ermöglichen, mit digitalen Inhalten durch Berührung der Tischoberfläche zu interagieren. Diese Systeme verwenden normalerweise einen Projektor und eine Kamera, um zu erkennen, wenn jemand seine Finger auf den Tisch legt. Das sorgt für ein Erlebnis, das ähnlich wie bei einem Touchscreen ist, aber in grösserem Massstab.
Das Problem mit Unordnung
Ein grosses Problem bei diesen Systemen ist die Unordnung. Wenn viele Gegenstände auf dem Tisch liegen, kann es für die Kamera schwierig sein, Berührungen klar zu erkennen. Die meisten aktuellen Geräte haben mit diesen chaotischen Umgebungen zu kämpfen, da sie auf teure Sensoren angewiesen sind, die im Alltag nicht praktikabel sind. Unser Ziel ist es, ein Tischsystem zu entwickeln, das kostengünstig, tragbar und robust genug ist, um auch bei Unordnung gut zu funktionieren.
Unsere Lösung
Wir haben ein neues Tischsystem entwickelt, das einen Projektor und eine Kamera in einem lampenartigen Design kombiniert, was die Einrichtung und Nutzung auf jeder flachen Oberfläche erleichtert. Das Kamerasystem ist so gestaltet, dass es Berührungen in Echtzeit erkennt und Handbewegungen registriert, was eine Vielzahl interaktiver Erlebnisse ermöglicht.
Dieses neue Gerät hat fortschrittliche Funktionen, die dafür sorgen, dass es auch bei Unordnung auf dem Tisch gut funktioniert. Die Kameras sind so angeordnet, dass die Wahrscheinlichkeit verringert wird, dass Obstruktionen die Sicht auf die Berührungen blockieren. Das verbessert die Qualität der Interaktionen in realen Situationen.
So funktioniert es
Unser System verwendet einen speziellen Algorithmus, der Bilder von den Kameras verarbeitet, um zu erkennen, wann Finger die Tischplatte berühren. Das passiert in einem einzigen, reibungslosen Prozess, was es schneller und effizienter macht als andere Methoden, die auf komplizierten Schritten basieren. Unser Ansatz funktioniert mit 30 Bildern pro Sekunde und sorgt dafür, dass es mit den Benutzerinteraktionen Schritt halten kann.
Verwandte Technologien
Es wurde viel Forschung zum Thema Berührungserkennung betrieben, und es wurden viele verschiedene Methoden vorgeschlagen. Einige Systeme nutzen Mikrofone, um Geräusche aufzunehmen, wenn Finger die Oberfläche berühren, während andere Schatten analysieren, die durch Infrarotlicht entstehen. Diese Ansätze stossen jedoch oft auf Herausforderungen, wenn viele Objekte auf dem Tisch liegen oder wenn Nutzer ihre Hände schnell bewegen.
Tiefensensoren wurden ebenfalls ausprobiert, bei denen die Entfernung von Objekten zur Kamera erkannt wird. Auch wenn moderne Tiefensensoren zu vernünftigen Preisen erhältlich sind, sind sie häufig immer noch teurer als das Stereo-Kamerasystem, das wir in unserem Lampen-Prototyp verwenden.
Unser Prototyp-Design
Unser System besteht aus einem Kamerakopf, der auf einem Standardlampenfuss montiert ist. Der Kamerakopf enthält zwei Infrarotkameras, eine RGB-Kamera und einen Beleuchter, der dem Szenario Licht hinzufügt, damit die Kameras effektiv arbeiten können. Dieses Setup erfordert keine komplizierten Verkabelungen, was die Nutzung ohne viel zusätzliches Equipment erleichtert.
Das System nutzt einen Standard-Smartphone-Prozessor, der es ermöglicht, die Berührungserkennung in Echtzeit durchzuführen. Dieses effiziente Design stellt sicher, dass die Gesamtkosten niedriger bleiben als bei den meisten bestehenden Systemen, während es vergleichbare Leistung bietet.
Erkennung von Handinteraktionen
Um Handbewegungen zu erkennen, verarbeitet unser System Bilder der Infrarotkameras. Es identifiziert zuerst die Hände und bestimmt dann die Positionen der Fingerspitzen, um zu sehen, ob sie die Tischplatte berühren. Dieser zweistufige Prozess ermöglicht eine genaue Berührungserkennung, ohne dass separate, teure Hardware benötigt wird.
Kalibrierung und Berührungserkennung
Bevor das System zu arbeiten beginnt, kalibrieren wir es, um Genauigkeit sicherzustellen. Das beinhaltet die Einrichtung der Kameraeinstellungen, um der spezifischen Umgebung Rechnung zu tragen, in der es verwendet wird. Unser Berührungserkennungsalgorithmus erfordert keine perfekte oder leere Oberfläche. Stattdessen kann er die Tischplatte selbst mit verschiedenen darauf platzierten Objekten erkennen.
Die Zukunft interaktiver Tischplatten
Wenn wir in die Zukunft blicken, eröffnet die Technologie, die in diesem Projekt entwickelt wurde, neue Möglichkeiten für interaktive Erlebnisse in alltäglichen Szenarien. Zum Beispiel können durch die Erkennung, wenn Spielzeuge auf den Tisch gelegt werden, Animationen projiziert werden, um unterhaltsame Erfahrungen für Kinder zu schaffen. Nutzer können Spielzeuge herumbewegen, und das System versteht, wie es reagieren soll, was es so erscheinen lässt, als wären die Spielzeuge Teil einer virtuellen Welt.
Testergebnisse aus der Praxis
Um unser System zu bewerten, führten wir Nutzerstudien durch, bei denen Teilnehmer auf projizierte Zielobjekte auf der Tischoberfläche tippte. Die Ergebnisse zeigten, dass das System gut funktionierte, da fast alle Berührungen korrekt in der Nähe des Ziels identifiziert wurden. Die Genauigkeit war beeindruckend und demonstrierte, dass das System in realen Situationen mit etwas Unordnung effektiv funktionieren kann.
Herausforderungen angehen
Trotz der Fortschritte gibt es noch einige Einschränkungen. Gelegentlich können Objekte, die wie Finger aussehen, vom System falsch interpretiert werden, was zu fälschlichen Positiven führt. Das könnte Ungenauigkeiten bei der Berührungserkennung zur Folge haben. Wir werden an der Verbesserung unserer Modelle arbeiten, indem wir zusätzliche Bilddaten einbeziehen, um dem System zu helfen, zwischen echten Fingern und ähnlichen Formen zu unterscheiden.
Ausserdem hat das System Schwierigkeiten, Berührungen in der Nähe der Ränder des Sichtfelds der Kamera zu erkennen. Eine Erweiterung des Kamerablicks in zukünftigen Versionen könnte dieses Problem lösen.
Anwendungen entwickeln
Um die Fähigkeiten unseres Systems zu demonstrieren, haben wir eine Anwendung namens Sandbox erstellt, die es Nutzern ermöglicht, verschiedene Hintergründe auszuwählen, die auf ihre Bewegungen reagieren. Zum Beispiel, wenn ein Nutzer ein Spielzeugauto auf den Tisch bewegt, kann die Anwendung eine Rennstrecke projizieren und eine interaktive Erfahrung schaffen, die das Spielen bereichert.
Darüber hinaus haben wir erkundet, wie das System mit Papierdokumenten funktionieren kann. Indem es Interaktionen mit gedruckten Informationen erkennt, können Nutzer Aktionen auf ihren Geräten auslösen, einfach indem sie bestimmte Bereiche des Dokuments berühren.
Fazit
Zusammenfassend zielt unsere Arbeit an interaktiven Tischplatten darauf ab, Technologie für alle zugänglicher und angenehmer zu machen. Durch die Entwicklung eines Systems, das robust gegenüber Unordnung und einfach zu bedienen ist, hoffen wir, innovativere Anwendungen in Bildung, Gaming und alltäglichen Aufgaben zu fördern. Während die Forschung fortgesetzt wird, werden wir daran arbeiten, die Technologie weiter zu verbessern, Lücken zu schliessen und die Leistung zu steigern, um noch reichhaltigere interaktive Erlebnisse zu schaffen.
Titel: Learning to Detect Touches on Cluttered Tables
Zusammenfassung: We present a novel self-contained camera-projector tabletop system with a lamp form-factor that brings digital intelligence to our tables. We propose a real-time, on-device, learning-based touch detection algorithm that makes any tabletop interactive. The top-down configuration and learning-based algorithm makes our method robust to the presence of clutter, a main limitation of existing camera-projector tabletop systems. Our research prototype enables a set of experiences that combine hand interactions and objects present on the table. A video can be found at https://youtu.be/hElC_c25Fg8.
Autoren: Norberto Adrian Goussies, Kenji Hata, Shruthi Prabhakara, Abhishek Amit, Tony Aube, Carl Cepress, Diana Chang, Li-Te Cheng, Horia Stefan Ciurdar, Mike Cleron, Chelsey Fleming, Ashwin Ganti, Divyansh Garg, Niloofar Gheissari, Petra Luna Grutzik, David Hendon, Daniel Iglesia, Jin Kim, Stuart Kyle, Chris LaRosa, Roman Lewkow, Peter F McDermott, Chris Melancon, Paru Nackeeran, Neal Norwitz, Ali Rahimi, Brett Rampata, Carlos Sobrinho, George Sung, Natalie Zauhar, Palash Nandy
Letzte Aktualisierung: 2023-04-10 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2304.04687
Quell-PDF: https://arxiv.org/pdf/2304.04687
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.