Conception de technologies de détection comportementale responsables
Assurer que la conception technologique respecte la diversité et le contexte des utilisateurs.
― 9 min lire
Table des matières
À mesure que la technologie avance, on a pu commencer à suivre et analyser le comportement humain grâce à divers appareils de détection. Ces appareils peuvent nous aider à comprendre comment les gens se comportent dans différentes situations et à améliorer notre bien-être. Cependant, il y a de grosses inquiétudes sur la manière dont ces technologies sont conçues et mises en œuvre.
L'Importance du Contexte
La conception des technologies de détection comportementale ne prend souvent pas en compte les différents Contextes dans lesquels elles sont utilisées. Souvent, ceux qui construisent la technologie créent des outils basés sur leurs suppositions sur ce dont les utilisateurs ont besoin ou ce qu'ils veulent. Cette approche descendante peut mener à des situations où la technologie ne sert pas vraiment son but ou même cause du tort à certains groupes d'utilisateurs.
Par exemple, certains utilisateurs peuvent appartenir à des groupes identitaires souvent négligés, comme ceux définis par la race, le genre ou le statut socio-économique. Ignorer ces différences peut donner des technologies qui ne fonctionnent pas bien pour tout le monde. Dans certains cas, elles pourraient même renforcer les inégalités existantes.
Types de Dommages Potentiels
En analysant les technologies de détection comportementale, on peut identifier deux principaux types de dommages potentiels : le dommage basé sur l'identité et le dommage basé sur la situation.
Dommage Basé sur l'Identité : Ça arrive quand la technologie ne prend pas en compte la diversité des identités de ses utilisateurs. Par exemple, beaucoup d'études n'ont pas abordé comment des origines variées, comme la race ou le genre, peuvent impacter les expériences des utilisateurs. Ne pas tenir compte de ces facteurs peut rendre la technologie moins efficace pour certains groupes ou même leur être nuisible.
Dommage Basé sur la Situation : Ce type de dommage vient des contextes dans lesquels la technologie est utilisée. Différentes situations peuvent ne pas être bien représentées dans les données utilisées pour développer la technologie. Par exemple, si un outil de détection est conçu principalement avec des données d'un certain type de smartphone, il pourrait ne pas bien fonctionner pour les utilisateurs d'autres appareils, surtout ceux venant de milieux socio-économiques plus faibles.
Besoin d'un Cadre
Pour résoudre ces problèmes, il faut un cadre structuré que ceux qui bâtissent la technologie peuvent suivre. Ce cadre devrait inclure plusieurs étapes pour s'assurer que la technologie est sensible aux différents contextes et identités des utilisateurs.
Comprendre le Contexte : La première étape consiste à comprendre de manière exhaustive les divers antécédents des utilisateurs et les situations spécifiques dans lesquelles la technologie sera utilisée. Cette compréhension devrait inclure l'engagement avec les utilisateurs pour apprendre leurs besoins et expériences.
Évaluer les Dommages Potentiels : Après avoir compris le contexte, ceux qui construisent la technologie devront établir des critères pour évaluer les dommages potentiels que la technologie pourrait entraîner. Cette évaluation devrait analyser comment la technologie peut performer différemment pour des utilisateurs ayant des identités variées ou dans différentes situations.
Collecter des Données Inclusives : La Collecte de données doit refléter la diversité des utilisateurs. Les développeurs devraient rassembler des données de divers groupes démographiques et tenir compte de différents facteurs situationnels durant le processus de collecte.
Développer des Algorithmes Sensibles au Contexte : Les algorithmes doivent être conçus pour prendre en compte les différents contextes et les dommages potentiels qui peuvent découler de l'utilisation de la technologie. Un raffinement et une amélioration continus devraient faire partie de ce processus.
Réaliser des Évaluations des Dommages : Une fois que la technologie est mise en œuvre, des évaluations continues devraient être effectuées pour identifier et traiter tout dommage potentiel. Ce processus d'évaluation devrait inclure des retours d'utilisateurs pour améliorer la performance de la technologie.
Maintenir les Données et les Algorithmes : Un suivi et une mise à jour continus des données et des algorithmes sont essentiels pour s'assurer que la technologie reste efficace et sensible à divers contextes au fil du temps.
Études dans le Monde Réel
Pour valider le cadre proposé, on peut examiner des études réelles qui se concentrent sur la détection du bien-être et la prédiction de l'engagement en utilisant les technologies de détection comportementale. Ces études peuvent fournir des aperçus sur l'efficacité et les dommages potentiels associés aux technologies existantes.
Étude 1 : Détection de la Dépression
Dans cette étude, des chercheurs ont cherché à détecter la dépression à partir de données collectées via des smartphones et des dispositifs portables. Malgré les avantages potentiels d'utiliser cette technologie, l'étude a révélé des défauts significatifs dans la manière dont les algorithmes étaient construits.
Beaucoup des algorithmes ne prenaient pas en compte les antécédents divers des individus. Par exemple, les conceptions se concentraient principalement sur des facteurs comme l'âge et le genre tout en négligeant d'autres facteurs identitaires importants.
Il y avait peu de preuves de l'implication des utilisateurs dans le processus de conception. S'engager avec les utilisateurs dès le début peut apporter des aperçus précieux et aider à créer une technologie qui répond mieux à leurs besoins.
Les algorithmes utilisés dans l'étude montreraient des biais contre certains groupes démographiques. Les utilisateurs issus de communautés marginalisées couraient davantage de risques à cause du manque de prise en compte de leurs expériences spécifiques.
Étude 2 : Prédiction de l'Engagement des Étudiants
La deuxième étude portait sur la prédiction de l'engagement des étudiants dans des contextes éducatifs à travers des capteurs portables et un suivi environnemental. Comme dans la première étude, elle a rencontré des défis quant à la conception de la technologie.
Encore une fois, il y avait un manque d'engagement avec les utilisateurs. Sans comprendre les expériences et les besoins des étudiants, la technologie est moins susceptible d'être efficace.
Le jeu de données utilisé dans cette étude ne représentait pas suffisamment les divers groupes démographiques. Ce manque de représentation peut mener à des résultats biaisés et à des mauvaises prédictions concernant l'engagement.
Des données provenant de capteurs portables et des enquêtes ont été utilisées pour évaluer l'engagement, mais même avec ces informations, les algorithmes ne prenaient pas correctement en compte le contexte dans lequel les étudiants apprenaient.
Aperçus des Évaluations
Les évaluations des deux études soulignent des aperçus importants pour la conception des technologies de détection comportementale :
Échec à Prendre en Compte le Contexte : Les deux études ont montré que les technologies existantes négligent souvent l'importance du contexte dans leurs conceptions. Sans cette compréhension, des dommages potentiels peuvent survenir lorsque la technologie est utilisée dans des situations réelles.
L'Engagement des utilisateurs est Essentiel : S'engager avec les utilisateurs pendant le processus de conception peut mener à de meilleurs résultats. Ceux qui construisent des technologies doivent comprendre les diverses expériences de leur base d'utilisateurs pour créer des outils plus efficaces.
Dynamiques Complexes de l'Équité : Atteindre l'équité dans les algorithmes est un défi multifacette. Les efforts pour réduire le biais pour un groupe peuvent introduire sans le vouloir un biais contre un autre. Ceux qui construisent la technologie doivent soigneusement considérer ces compromis.
Vers une Conception Responsable
Pour favoriser une conception responsable des technologies de détection comportementale, quelques considérations doivent être prises en compte :
Maintenance Régulière : Des mises à jour et une maintenance continues des données et des algorithmes sont vitales pour s’assurer que la technologie reste pertinente et efficace. Ceux qui construisent la technologie doivent s'efforcer de minimiser le fardeau de la maintenance sur les utilisateurs tout en assurant la fiabilité du système.
Incorporer les Retours des Utilisateurs : Établir des boucles de retour continues avec les utilisateurs peut aider ceux qui construisent la technologie à apporter les ajustements nécessaires basés sur l'utilisation réelle et l'évolution des besoins.
Mettre l'accent sur la Transparence : Fournir des informations claires sur le fonctionnement de la technologie et la prise de décisions peut aider à instaurer la confiance des utilisateurs. La transparence permet aux utilisateurs de mieux comprendre les atouts et les limites de la technologie.
Aborder les Problèmes de Confidentialité : Comme les technologies de détection comportementale impliquent souvent une collecte de données extensive, aborder les problèmes de confidentialité est primordial. S'assurer que les données des utilisateurs sont protégées et utilisées de manière éthique favorise une approche responsable de la conception technologique.
Conclusion
Le développement et l'application des technologies de détection comportementale ont un potentiel énorme pour améliorer notre compréhension du comportement humain. Cependant, pour s'assurer que ces technologies sont efficaces et équitables, il est crucial d'adopter un cadre qui priorise la sensibilité au contexte et l'engagement des utilisateurs.
En reconnaissant les dommages potentiels qui peuvent résulter d'une approche de conception descendante et en répondant aux besoins uniques de divers groupes d'utilisateurs, ceux qui construisent la technologie peuvent créer des technologies de détection comportementale plus responsables et efficaces. Les aperçus tirés des études réelles soulignent l'importance de l'évaluation continue, de l'implication des utilisateurs et d'un engagement en faveur de l'équité dans le processus de conception. Avancer, il est essentiel de viser des technologies qui non seulement améliorent le bien-être, mais qui respectent et répondent aussi aux expériences complexes et variées de tous les utilisateurs.
Titre: Illuminating the Unseen: Investigating the Context-induced Harms in Behavioral Sensing
Résumé: Behavioral sensing technologies are rapidly evolving across a range of well-being applications. Despite its potential, concerns about the responsible use of such technology are escalating. In response, recent research within the sensing technology has started to address these issues. While promising, they primarily focus on broad demographic categories and overlook more nuanced, context-specific identities. These approaches lack grounding within domain-specific harms that arise from deploying sensing technology in diverse social, environmental, and technological settings. Additionally, existing frameworks for evaluating harms are designed for a generic ML life cycle, and fail to adapt to the dynamic and longitudinal considerations for behavioral sensing technology. To address these gaps, we introduce a framework specifically designed for evaluating behavioral sensing technologies. This framework emphasizes a comprehensive understanding of context, particularly the situated identities of users and the deployment settings of the sensing technology. It also highlights the necessity for iterative harm mitigation and continuous maintenance to adapt to the evolving nature of technology and its use. We demonstrate the feasibility and generalizability of our framework through post-hoc evaluations on two real-world behavioral sensing studies conducted in different international contexts, involving varied population demographics and machine learning tasks. Our evaluations provide empirical evidence of both situated identity-based harm and more domain-specific harms, and discuss the trade-offs introduced by implementing bias mitigation techniques.
Auteurs: Han Zhang, Vedant Das Swain, Leijie Wang, Nan Gao, Yilun Sheng, Xuhai Xu, Flora D. Salim, Koustuv Saha, Anind K. Dey, Jennifer Mankoff
Dernière mise à jour: 2024-05-05 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2404.14665
Source PDF: https://arxiv.org/pdf/2404.14665
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.