Situativ bedingte Beeinträchtigungen mit Mensch-Computer-Interaktion angehen

Situationsbedingte Beeinträchtigungen und Behinderungen (SIIDs) können stark beeinflussen, wie Leute Technologie in Situationen wie schlechtem Licht, lautem Lärm oder Multitasking nutzen. Obwohl es einige Systeme gibt, die bei diesen Problemen helfen, konzentrieren sie sich meist nur auf spezifische Aufgaben oder Umgebungen, was sie weniger effektiv für die Vielzahl von Situationen macht, mit denen Menschen konfrontiert sind.

In diesem Papier stellen wir eine neue Methode vor, um verschiedene SIIDs zu erkennen, indem wir anschauen, wie verfügbar die Eingabe- und Ausgabekanäle einer Person sind. Mit Hilfe von Aufnahmen aus der Ich-Perspektive von Kameras und einer Mischung aus Sensoren, zusammen mit fortgeschrittenen Sprachmodellen, haben wir eine niedrige Fehlerrate erreicht, wenn es darum ging zu prognostizieren, wie verfügbar diese Kanäle in vielen realen Situationen sind. Wir haben auch eine Studie mit Teilnehmern durchgeführt, die gezeigt hat, dass unser System den Aufwand erheblich reduzieren und das Nutzererlebnis verbessern kann, wenn SIIDs vorhanden sind.

#Überblick über das Problem

Jeder kommt irgendwann mal mit situationsbedingten Beeinträchtigungen und Behinderungen (SIIDs) in Berührung. Diese Beeinträchtigungen können aus verschiedenen Situationen wie Lärm, schlechtem Licht, Temperaturwechsel, Stress oder sozialen Erwartungen resultieren. Zum Beispiel könnte jemand einen Anruf in einem lauten Restaurant verpassen oder Schwierigkeiten haben, auf eine Nachricht zu antworten, während er Geschirr spült. Diese alltäglichen Herausforderungen können unsere physischen, mentalen oder emotionalen Fähigkeiten vorübergehend verringern und frustrierende Erfahrungen verursachen.

Es wurden Forschungen durchgeführt, um Systeme zu schaffen, die dabei helfen, SIIDs zu bewältigen, indem sie das Bewusstsein für die Umgebung bei mobilen Geräten verbessern. Die meisten Systeme folgen einem "sensing-model-adapt"-Muster, wo sie zuerst ein Modell entwickeln, um spezifische Situationen zu erkennen, die bestimmte SIIDs verursachen, und dann Anpassungen basierend auf diesem Kontext erstellen. Allerdings ist es aufgrund der dynamischen Natur von SIIDs schwer, diese früheren Lösungen zu skalieren, um sich in Echtzeit an wechselnde Beeinträchtigungen anzupassen.

Zum Beispiel könnte jemand während seiner typischen Morgenroutine beim Zähneputzen Schwierigkeiten mit Sprachassistenten haben. Beim Gesichtwaschen könnte es schwerfallen, dringende Nachrichten zu lesen. Wenn sie zudem einen Fön benutzen, könnten sie akustische Benachrichtigungen auf ihrem Handy überhören.

Während frühere Systeme Lösungen für spezifische Beeinträchtigungen entwickelt haben, ist es unpraktisch, individuelle Erkennungsmethoden für alle möglichen Szenarien zu erschaffen, was ihre Effektivität einschränkt.

#Einführung von Human I/O

In diesem Papier schlagen wir Human I/O vor, einen neuen Ansatz, der SIIDs nicht als Beeinträchtigungen betrachtet, die eigene Erkennungsmodelle benötigen, sondern als Probleme, die mit der begrenzten Verfügbarkeit der Eingabe-/Ausgabekanäle einer Person verbunden sind. Anstatt separate Modelle für verschiedene Aktivitäten wie Gesichtwaschen, Zähneputzen oder Föhnen zu erstellen, bewertet Human I/O die Verfügbarkeit der visuellen, akustischen und haptischen Kanäle eines Nutzers in einer einheitlichen Weise.

Mit dem Aufkommen von grossen Sprachmodellen (LLMs), die mit wenigen Beispielen lernen und schlussfolgern können, sehen wir eine Chance, ein einheitliches Framework einzuführen, das SIIDs aus einer breiteren Perspektive identifiziert. Dieser Wandel ermöglicht die Schaffung eines flexiblen Systems, das sich an die Entwicklung der Technologie anpassen kann. Während dieses Papier sich auf die Erkennung von SIIDs konzentriert, erwarten wir, das System in Zukunft weiter anzupassen.

#Einsichten aus der formativen Studie

Um unser Verständnis von SIIDs zu verfeinern, haben wir eine Studie mit 10 Teilnehmern durchgeführt, um zu erkunden, wie man diese Beeinträchtigungen basierend auf der Verfügbarkeit der Eingabe-/Ausgabekanäle modellieren kann. Die Teilnehmer hoben die Notwendigkeit von Systemen hervor, die verschiedene Faktoren wie Aktivitäten, Umgebungen und direkte sensorische Hinweise integrieren, um bessere Vorhersagen zu treffen.

Aus der Studie entwickelten wir eine vierstufige Skala zur Kategorisierung der Kanalverfügbarkeit: verfügbar, leicht betroffen, betroffen und nicht verfügbar. Diese Erkenntnis führte zum Design von Human I/O, das SIIDs über ein breites Spektrum alltäglicher Aktivitäten hinweg erkennt.

#Systembestandteile

Human I/O besteht aus drei Hauptkomponenten:

1. Eine egocentrische Kamera und ein Mikrofon, die Video und Audio aus der Perspektive des Nutzers erfassen.
2. Ein Verarbeitungsmodul, das die eingehenden Daten analysiert, um Beschreibungen über den Kontext des Nutzers zu generieren.
3. Ein Begründungsmodul, das LLMs nutzt, um die Verfügbarkeit der visuellen, akustischen, sprachlichen und haptischen Kanäle eines Nutzers vorherzusagen.

Der Prozess beginnt mit der Erfassung des Ich-Perspektiv-Standpunkts des Nutzers. Als nächstes wandeln Computer Vision- und Audioanalysmodelle diese Daten in textuelle Beschreibungen um. Schliesslich verarbeiten LLMs diese Beschreibungen, um vorherzusagen, wie verfügbar jeder Kanal für die Interaktion ist.

#Bewertung von Human I/O

Um unser System zu testen, haben wir Daten aus 300 Clips gesammelt, die aus 60 realen egocentrischen Videoaufnahmen in 32 Szenarien stammen. Unsere Ergebnisse zeigten, dass das System eine niedrige mittlere absolute Fehlerquote und eine beeindruckende durchschnittliche Genauigkeit bei der Vorhersage der Kanalverfügbarkeit erreicht.

Das System wurde in praktischen Settings mit 10 Teilnehmern getestet, die verschiedene Szenarien erlebten, während sie Human I/O nutzten. Die Teilnehmer fanden, dass die Implementierung des Systems ihre mentalen, physischen und zeitlichen Anforderungen erheblich verringerte und ihr gesamtes Nutzererlebnis verbesserte.

#Verwandte Arbeiten

Diese Forschung baut auf früheren Studien zur situativen Wahrnehmung, egocentrischen Perspektiven und LLMs auf. Forscher haben verschiedene Systeme entwickelt, um mobile Interaktionen für Nutzer mit SIIDs zu verbessern, aber die meisten konzentrierten sich auf enge Kontexte. Unser Ansatz strebt eine breitere Lösung an.

#Konzept der egocentrischen Vision

Die Nutzung einer tragbaren Kamera für visuelle Daten aus der Ich-Perspektive gibt es schon seit den 1970ern. Im Laufe der Zeit sind die Anwendungen für tragbare Kameras gewachsen, insbesondere in gesundheitsbezogenen Projekten. Neuere Systeme haben sich darauf verlagert, fortschrittliche Technologie zu integrieren, um das Nutzererlebnis basierend auf direkten Interaktionen zu verbessern.

In dieser Arbeit konzentrieren wir uns darauf, egocentrische Vision zu nutzen, um eine breite Palette von SIIDs abzudecken. Diese Wahl ermöglicht eine bessere Erkennung verschiedener Beeinträchtigungen.

#Grosse Sprachmodelle und ihre Rolle

Neueste Fortschritte bei LLMs haben sie wertvoll für Aufgaben gemacht, die Schlussfolgerungen und kontextuelles Verständnis erfordern. Diese Modelle können mit verschiedenen Lernformen umgehen und haben in zahlreichen Bereichen wie Mensch-Computer-Interaktion Anwendung gefunden.

Unser System nutzt LLMs, um die Verfügbarkeit menschlicher Eingabe-/Ausgabekanäle basierend auf dem erkannten Kontext vorherzusagen, was es anpassungsfähig und leistungsstark macht.

#Erkennung menschlicher Eingabe-/Ausgabekanäle

Wir kategorisieren menschliche Eingabe-/Ausgabekanäle in Sicht, Hören und Handbewegungen. Dieses Framework hilft uns zu verstehen, wie diese Kanäle zu effektiver Kommunikation mit Technologie beitragen.

Basierend auf Erkenntnissen aus früheren Studien glauben wir, dass die Bewertung der Verfügbarkeit dieser Kanäle eine kohärentere Methode zur Erkennung von SIIDs bietet und gut mit bestehenden Frameworks in der Mensch-Computer-Interaktion übereinstimmt.

#Rückmeldungen aus der formativen Studie

Um unsere Ideen zu validieren, haben wir eine remote Brainstorming-Session mit 10 Teilnehmern durchgeführt, um Einsichten darüber zu sammeln, wie man SIIDs unter Berücksichtigung der Verfügbarkeit der Eingabe-/Ausgabekanäle modellieren kann. Die Teilnehmer identifizierten viele Situationen, die Kanäle unbrauchbar machen könnten. Dieses Feedback half, das Design von Human I/O zu formen.

Wir kategorisierten die Situationen in drei Typen: aktivitätsbasiert, umweltbasiert und kanalbasiert. Diese Klassifizierung hebt die Notwendigkeit von Systemen hervor, die mehrere Hinweise integrieren, um Vorhersagen zu verbessern.

#Verfügbarkeitsstufen der Kanäle

Aus unseren Diskussionen haben wir herausgefunden, dass Menschen unterschiedliche Unterstützung von Systemen wünschen, wenn sie mit SIIDs umgehen. Einige Nutzer möchten, dass Systeme weniger eingreifen, während andere mehr Unterstützung begrüssen. Dieses Verständnis führte dazu, dass wir eine detaillierte vierstufige Verfügbarkeits-Skala entwickelten.

• Verfügbar: Überhaupt keine Einschränkungen.
• Leicht betroffen: Einige Beteiligung an Aufgaben, aber leicht multitaskfähig.
• Betroffen: Deutliche Unannehmlichkeiten oder Schwierigkeiten bei der Nutzung des Kanals.
• Nicht verfügbar: Der Kanal ist völlig ausser Betrieb.

Diese Skala ermöglicht es Systemen, besser auf die Bedürfnisse und Vorlieben der Nutzer einzugehen.

#Aufbau des Human I/O Systems

Nach den Erkenntnissen aus der formativen Studie haben wir das Human I/O System geschaffen. Das System erfasst Video- und Audio-Streams, um den Kontext zu analysieren und die Verfügbarkeit der Kanäle vorherzusagen.

Wir haben auch sichergestellt, dass das Design flexibel genug ist, um verschiedene Geräte zu unterstützen, was es für Nutzer und Entwickler einfacher macht, mit dem System zu interagieren.

#Datenaufnahmeprozess

Für die Datensammlung verwendeten wir eine Webcam und ihr integriertes Mikrofon, um Echtzeit-Video und Audio zu erfassen. Wir stellen uns vor, dass zukünftige Iterationen fortgeschrittene Sensoren in leichten AR-Brillen integrieren, um reichhaltigere Kontexte und verbesserte Fähigkeiten zu ermöglichen.

#Operationen des Verarbeitungsmoduls

Das Verarbeitungsmodul analysiert die eingehenden Video- und Audiodaten, um die aktuelle Situation des Nutzers zu bestimmen. Wir kombinierten modernste Technologie mit fortschrittlichem Reasoning, um umfangreiche kontextuelle Informationen zu generieren.

#Schlussfolgerungen mit grossen Sprachmodellen

Um das Verständnis der Nutzeraktivitäten und umgebungen zu vertiefen, integrierten wir LLMs, die bei der Vorhersage der Kanalverfügbarkeit helfen. Durch die Verwendung strukturierter Aufforderungen und Argumentationstechniken ermöglicht unser Ansatz verbesserte Vorhersagen und Anwendbarkeit in verschiedenen Kontexten.

#Technische Leistungsbewertung

In unserer Bewertung stellten wir eine robuste Leistung des Human I/O Systems in verschiedenen realen Situationen fest. Die Genauigkeitsraten deuten auf eine starke Korrelation zwischen der vorhergesagten und der tatsächlichen Kanalverfügbarkeit hin.

#Einsichten aus der Nutzerstudie

Wir führten eine Nutzerstudie durch, um zu verstehen, wie Menschen Human I/O in Echtzeitszenarien erlebten. Die Teilnehmer berichteten häufig, dass das System ihren Stress beim Bewältigen alltäglicher Aufgaben erheblich reduzierte.

Das Feedback zeigte eine starke Präferenz für ein System, das hilft, den Workflow ohne Unterbrechungen aufrechtzuerhalten, was den Nutzern Möglichkeiten eröffnet, Aufgaben nahtlos zu bewältigen.

#Zukünftige Richtungen

Laufende Forschungen werden Möglichkeiten untersuchen, um die Genauigkeit und den Umfang von Human I/O zu verbessern. Wir sehen Potenzial, das System zu verfeinern, um besser auf die Nutzer einzugehen, indem wir die Vorlieben für Anpassungen personalisieren und das gesamte Nutzererlebnis verbessern.

#Ethische Überlegungen

Während wir mit der Technologie voranschreiten, müssen ethische Fragen und Datenschutz eine Priorität bleiben. Wir müssen sicherstellen, dass die Systeme, die wir entwerfen, nicht in die persönliche Privatsphäre eingreifen oder auf voreingenommenen Interpretationen von Daten basieren.

#Zusammenfassung

Zusammenfassend haben wir einen neuen Weg vorgestellt, um SIIDs zu erkennen, indem wir den Fokus auf die Verfügbarkeit der menschlichen Eingabe-/Ausgabekanäle legen. Unsere Ergebnisse und Nutzerstudien zeigen vielversprechende Ansätze zur Verbesserung der Interaktion und des Nutzererlebnisses in verschiedenen Situationen. Die Erkenntnisse, die Human I/O bietet, werden zukünftige Arbeiten anpassungsfähiger Systeme leiten, die effektiv auf die Bedürfnisse der Nutzer in ihrem Alltag reagieren.