CookAR: Hilfreiches Kochen für Menschen mit Sehbehinderungen

Kochen ist ein wichtiger Teil des Alltags. Es hilft Leuten, unabhängig zu sein und unterstützt ihr geistiges und körperliches Wohlbefinden. Allerdings haben Menschen mit eingeschränkter Sicht grosse Schwierigkeiten in der Küche, besonders beim Umgang mit scharfen Messern oder heissen Pfannen. Ein sicherer Umgang mit Kochutensilien ist für diese Personen entscheidend.

Um dieses Problem anzugehen, haben wir ein System namens CookAR entwickelt. Dieses System nutzt Augmented Reality (AR), um in Echtzeit visuelle Unterstützung beim Kochen zu bieten. CookAR hilft Nutzern mit eingeschränkter Sicht, sichere und unsichere Teile von Küchenwerkzeugen zu erkennen, was das Kochen einfacher und sicherer macht.

#Was ist CookAR?

CookAR ist ein tragbares AR-System, das das Interagieren von Menschen mit eingeschränkter Sicht mit Küchenwerkzeugen verbessert. Mit einem speziellen Headset und einer Kamera zeigt das System wichtige visuelle Informationen über die verwendeten Werkzeuge an. Zum Beispiel wird angezeigt, welche Teile eines Messers sicher zu halten sind und welche gefährlich sind.

Anstatt das gesamte Objekt zu zeigen, konzentriert sich CookAR auf die spezifischen Teile jedes Werkzeugs, auf die Nutzer achten müssen. Das hilft Anwendern, sicherere Entscheidungen beim Kochen zu treffen.

#Warum ist das wichtig?

Beim Kochen braucht man gutes Sehen für viele Aufgaben, wie Gemüse schneiden oder Wasser giessen. Menschen mit eingeschränkter Sicht haben oft Probleme mit diesen Aufgaben, was das Kochen herausfordernd oder sogar unsicher machen kann. Viele Menschen mit eingeschränkter Sicht neigen dazu, auf Fertiggerichte zurückzugreifen oder öfter auswärts zu essen, was nicht immer gesund ist. CookAR will das ändern, indem es die nötige visuelle Unterstützung bietet.

#Wie wir CookAR entwickelt haben

Die Entwicklung von CookAR umfasste mehrere Schritte. Zuerst mussten wir herausfinden, welche Teile von Kochwerkzeugen sicher zu berühren sind und welche nicht. Dazu haben wir einen einzigartigen Datensatz erstellt, der Bilder von Küchenwerkzeugen aus der Ich-Perspektive sammelt. Das bedeutet, die Bilder werden aus der Sicht von jemandem aufgenommen, der die Werkzeuge benutzt, so wie es ein Mensch mit eingeschränkter Sicht sehen würde.

Danach haben wir ein Computer-Vision-Modell trainiert, um diese sicheren und unsicheren Teile zu erkennen. Dieses Modell verwendet maschinelles Lernen, um die Küchenwerkzeuge anhand der von uns markierten Bilder zu verstehen. Schliesslich haben wir das AR-System mit einem Headset und einer Kamera gebaut, die Video in Echtzeit streamen kann, sodass das System die visuellen Informationen während des Kochens an die Nutzer anzeigen kann.

#Technische Details

Um CookAR effektiv zum Laufen zu bringen, mussten wir mehrere technische Probleme lösen. Eine Herausforderung war, sicherzustellen, dass das System die Teile jedes Werkzeugs schnell genug genau identifizieren konnte, um nützlich zu sein. Wir haben eine Technik namens Fine-Tuning für unser Computer-Vision-Modell verwendet, um dessen Leistung basierend auf den spezifischen Küchenwerkzeugen zu verbessern, die wir verwendet haben.

Wir mussten auch sicherstellen, dass das System die visuellen Informationen korrekt über die Sicht des Nutzers auf die Werkzeuge legen konnte. Das beinhaltete die Entwicklung einer Methode, damit die Kamera die Werkzeuge genau verfolgen und die Informationen in Echtzeit anzeigen konnte, und so die Latenz zu minimieren, die den Nutzer verwirren könnte.

#Testing von CookAR

Nachdem wir CookAR entwickelt hatten, mussten wir testen, wie gut es funktioniert. Wir haben eine Studie mit zehn Teilnehmern mit eingeschränkter Sicht durchgeführt, um zu sehen, wie sie mit dem System interagierten und ob es das Kochen für sie einfacher machte. Während der Studie mussten die Teilnehmer eine Reihe von Aufgaben mit CookAR erfüllen, während wir ihre Erfahrungen beobachteten und aufzeichneten.

Wir baten die Teilnehmer, verschiedene Küchenwerkzeuge unter drei Bedingungen zu greifen: mit ihren typischen Methoden, mit CookAR und ganzen Objekt-Augmentierungen und schliesslich mit CookAR und Affordance-Augmentierungen. Das Ziel war zu sehen, welche Methode für sie am besten funktionierte.

#Ergebnisse der Benutzerstudie

Die Ergebnisse unserer Studie zeigten, dass die meisten Teilnehmer die Affordance-Augmentierungen von CookAR den ganzen Objekt-Augmentierungen vorzogen. Sie fanden, dass CookAR ihnen half, die Positionen und sicheren Interaktionspunkte der Werkzeuge schneller zu verstehen.

Die Teilnehmer äusserten, dass die farbcodierten Überlagerungen ihnen halfen, die sicheren Teile zum Halten zu erkennen. Grün zeigte greifbare Bereiche an, während rot gefährliche Teile hervorhob. Viele Teilnehmer berichteten, dass es ihnen mehr Selbstvertrauen in der Küche gab, diese Unterschiede zu sehen.

#Wichtige Erkenntnisse

1. Bevorzugung von Affordance gegenüber ganzen Objekt-Augmentierungen: Die meisten Teilnehmer fanden die spezifische Fokussierung auf Werkzeugteile viel hilfreicher als die Gesamtansicht des Objekts.

2. Effektive Farbcodierung: Die Teilnehmer schätzten die Verwendung von grüner und roter Farbcodierung für sichere und unsichere Bereiche. Sie berichteten, dass es die Werkzeuge einfacher zu bedienen machte.

3. Bedarf an verbesserter Genauigkeit: Während die Teilnehmer die Nutzung von CookAR genossen, bemerkten einige Herausforderungen mit Erkennungsfehlern und Latenz. Diese Probleme führten dazu, dass Überlagerungen flackerten oder hinter den Bewegungen des Nutzers lagen.

4. Vorschläge zur Verbesserung: Die Teilnehmer identifizierten zusätzliche Bereiche, in denen CookAR helfen könnte. Zum Beispiel schlugen sie vor, visuelle Hilfen für das Giessen, Schneiden und Messen hinzuzufügen.

#Design-Einblicke

Aus unserer Studie haben wir mehrere Einblicke gewonnen, die helfen können, CookAR zu verbessern:

• Personalisierung: Nutzer mit eingeschränkter Sicht haben individuelle Bedürfnisse, und das System sollte es ihnen ermöglichen, anzupassen, wie Informationen präsentiert werden. Dazu könnte das Ändern von Farben oder Überlagerungsstilen gehören.

• Aktionsbasiertes Feedback: Anstatt alle Affordanzen kontinuierlich zu zeigen, könnte es vorteilhaft sein, relevante Informationen basierend auf dem, was der Nutzer gerade tun möchte, anzuzeigen. Zum Beispiel das Highlighten des Randes eines Bechers, wenn es Zeit zum Ausgiessen ist.

• Akustische Hinweise: Die Teilnehmer äusserten Interesse an akustischen Warnungen, besonders für Gefahren, als Ergänzung zu den visuellen Informationen. Das würde helfen, sicherzustellen, dass sie wichtige Warnungen nicht übersehen.

• Erweiterung der Affordanztypen: Während wir uns auf greifbare und gefährliche Bereiche konzentrierten, schlugen die Teilnehmer mehrere andere Affordanzen vor, die ihr Kocherlebnis verbessern könnten, wie Zugangs- und Ausgangsbereiche für das Giessen und Bereichsangaben für das Messen von Zutaten.

#Fazit

CookAR stellt einen bedeutenden Fortschritt dar, um Menschen mit eingeschränkter Sicht bei Kochaufgaben zu unterstützen. Durch die Verwendung von Echtzeit-Augmented Reality, um spezifische visuelle Informationen über Küchenwerkzeuge bereitzustellen, können wir mehr Unabhängigkeit und Sicherheit in der Küche fördern.

Unsere Studie hat gezeigt, dass es eine klare Präferenz für affordanzenbasierte visuelle Unterstützungen im Vergleich zu traditionellen ganzen Objekt-Hervorhebungen gibt. In Zukunft werden wir CookAR basierend auf Nutzerfeedback weiter verfeinern, seine Fähigkeiten erweitern und die technischen Herausforderungen angehen, mit denen es derzeit konfrontiert ist.

CookAR könnte der Anfang breiterer Anwendungen von AR-Systemen in alltäglichen Aufgaben sein, die Menschen mit eingeschränkter Sicht und anderen Einschränkungen helfen, ein unabhängigeres Leben zu führen. Die Erkenntnisse aus diesem Projekt werden nicht nur CookAR verbessern, sondern auch den Weg für zukünftige Innovationen in der Hilfstechnologie ebnen.