Simple Science

Ciência de ponta explicada de forma simples

# Informática# Interação Homem-Computador

Projetando Tecnologias de Sensoriamento Comportamental Responsáveis

Garantindo que o design da tecnologia respeite a diversidade e o contexto dos usuários.

― 8 min ler


Ética no Design deÉtica no Design deTecnologia Comportamentalcontexto na tecnologia.Abordando a diversidade do usuário e o
Índice

À medida que a tecnologia avança, conseguimos acompanhar e analisar o comportamento humano por meio de vários dispositivos de sensores. Esses dispositivos podem nos ajudar a entender como as pessoas se comportam em diferentes situações e melhorar nosso bem-estar. Mas, ao mesmo tempo, existem preocupações bem grandes sobre como essas tecnologias são projetadas e implementadas.

A Importância do Contexto

A forma como as tecnologias de detecção de comportamento são desenhadas muitas vezes não considera os Contextos variados em que elas são usadas. Muitas vezes, quem cria a tecnologia faz isso com base nas suposições delas sobre o que os usuários precisam ou querem. Esse tipo de abordagem de cima para baixo pode resultar em situações onde a tecnologia não serve bem ao seu propósito ou até causa danos a certos grupos de usuários.

Por exemplo, alguns usuários podem pertencer a grupos de identidade que são frequentemente ignorados, como aqueles definidos por raça, gênero ou status socioeconômico. Ignorar essas diferenças pode fazer com que as tecnologias não funcionem bem para todo mundo. Em alguns casos, isso pode até reforçar desigualdades já existentes.

Tipos de Potencial Dano

Ao analisar tecnologias de detecção de comportamento, podemos identificar dois tipos principais de dano potencial: dano baseado na identidade e dano baseado na situação.

  1. Dano Baseado na Identidade: Isso acontece quando a tecnologia não leva em conta as diversas identidades dos usuários. Por exemplo, muitos estudos não consideraram como diferentes contextos, como raça ou gênero, podem impactar a experiência dos usuários. Não considerar esses fatores pode tornar a tecnologia menos eficaz para certos grupos ou até prejudicial.

  2. Dano Baseado na Situação: Esse tipo de dano surge dos contextos em que a tecnologia é usada. Situações diferentes podem não estar bem representadas nos dados usados para desenvolver a tecnologia. Por exemplo, se uma ferramenta de detecção for projetada principalmente usando dados de um tipo específico de smartphone, pode não funcionar bem para usuários de outros dispositivos, especialmente aqueles de origens socioeconômicas mais baixas.

Necessidade de um Framework

Para lidar com esses problemas, é preciso um framework estruturado que os criadores de tecnologia possam seguir. Esse framework deve incluir algumas etapas para garantir que a tecnologia seja sensível aos diferentes contextos e identidades dos usuários.

  1. Entender o Contexto: O primeiro passo envolve entender de forma abrangente os diversos backgrounds dos usuários e as situações específicas em que a tecnologia será usada. Isso deve incluir o envolvimento com os usuários para aprender sobre suas necessidades e experiências.

  2. Avaliar Danos Potenciais: Depois de entender o contexto, os criadores de tecnologia devem estabelecer critérios para avaliar quaisquer danos potenciais que possam surgir da tecnologia. Essa avaliação deve analisar como a tecnologia pode ter um desempenho diferente para usuários com várias identidades ou em diferentes situações.

  3. Coletar Dados Inclusivos: A Coleta de Dados deve refletir a diversidade dos usuários. Os desenvolvedores devem reunir dados de vários grupos demográficos e considerar diferentes fatores situacionais durante o processo de coleta.

  4. Desenvolver Algoritmos Sensíveis ao Contexto: Os algoritmos devem ser projetados para levar em conta os diferentes contextos e os danos potenciais que podem surgir do uso da tecnologia. O aprimoramento e a refinamento contínuos devem fazer parte desse processo.

  5. Realizar Avaliações de Danos: Uma vez que a tecnologia esteja implementada, avaliações contínuas devem ser realizadas para identificar e abordar quaisquer danos potenciais. Esse processo de avaliação deve incluir feedback dos usuários para melhorar o desempenho da tecnologia.

  6. Manter Dados e Algoritmos: O monitoramento contínuo e a atualização de dados e algoritmos são essenciais para garantir que a tecnologia permaneça eficaz e sensível a vários contextos ao longo do tempo.

Estudos do Mundo Real

Para validar o framework proposto, podemos examinar estudos do mundo real que focam na detecção de bem-estar e previsão de engajamento usando tecnologias de detecção de comportamento. Esses estudos podem fornecer insights sobre a eficácia e os potenciais danos associados às tecnologias existentes.

Estudo 1: Detecção de Depressão

Neste estudo, os pesquisadores tentaram detectar depressão por meio de dados coletados de smartphones e dispositivos vestíveis. Apesar dos benefícios potenciais de usar essa tecnologia, o estudo revelou falhas significativas na forma como os algoritmos foram construídos.

  • Muitos dos algoritmos não consideraram os diversos backgrounds dos indivíduos. Por exemplo, os designs focavam predominantemente em fatores como idade e gênero, enquanto negligenciavam outros fatores de identidade importantes.

  • Havia pouca evidência de envolvimento dos usuários no processo de design. Envolver os usuários desde o começo pode fornecer insights valiosos e ajudar a criar uma tecnologia que atenda melhor às suas necessidades.

  • Os algoritmos usados no estudo mostraram preconceitos contra certos grupos demográficos. Usuários de comunidades marginalizadas enfrentaram maiores riscos devido à falta de consideração por suas experiências específicas.

Estudo 2: Previsão de Engajamento de Estudantes

O segundo estudo focou em prever o engajamento dos estudantes em ambientes educacionais por meio de sensores vestíveis e monitoramento ambiental. Assim como o primeiro estudo, ele enfrentou desafios na forma como a tecnologia foi desenhada.

  • Novamente, houve falta de envolvimento com os usuários. Sem entender as experiências e necessidades dos estudantes, a tecnologia tem menos chances de ser eficaz.

  • O conjunto de dados usado neste estudo não representava adequadamente vários grupos demográficos. Essa falta de representação pode levar a resultados enviesados e previsões incorretas sobre o engajamento.

  • Dados de sensores vestíveis e pesquisas foram usados para avaliar o engajamento, mas mesmo com essas informações, os algoritmos não abordaram adequadamente o contexto em que os alunos estavam aprendendo.

Insights das Avaliações

As avaliações dos dois estudos destacam insights importantes para o design das tecnologias de detecção de comportamento:

  • Falha em Considerar o Contexto: Ambos os estudos demonstraram que as tecnologias existentes muitas vezes ignoram a importância do contexto em seus designs. Sem esse entendimento, danos potenciais podem surgir quando a tecnologia é usada em situações reais.

  • Engajamento do Usuário é Essencial: Engajar os usuários durante o processo de design pode levar a resultados melhores. Os criadores de tecnologia precisam entender as diversas experiências de sua base de usuários para criar ferramentas mais eficazes.

  • Dinâmicas Complexas de Justiça: Alcançar justiça nos algoritmos é um desafio multifacetado. Esforços para reduzir preconceitos para um grupo podem inadvertidamente introduzir preconceitos contra outro. Os criadores de tecnologia devem considerar cuidadosamente esses trade-offs.

Caminhando para um Design Responsável

Para promover um design responsável nas tecnologias de detecção de comportamento, algumas considerações precisam ser abordadas:

  1. Manutenção Regular: Atualizações contínuas e manutenção dos dados e algoritmos são vitais para garantir que a tecnologia continue relevante e eficaz. Os criadores de tecnologia devem trabalhar para minimizar a carga de manutenção sobre os usuários, garantindo ao mesmo tempo a confiabilidade do sistema.

  2. Incorporar Feedback dos Usuários: Estabelecer loops de feedback contínuos com os usuários pode ajudar os criadores de tecnologia a fazer os ajustes necessários com base no uso real e nas necessidades em evolução.

  3. Foco na Transparência: Fornecer informações claras sobre como a tecnologia funciona e como as decisões são tomadas pode ajudar a construir a confiança dos usuários. A transparência permite que os usuários entendam melhor os pontos fortes e limitações da tecnologia.

  4. Abordar Questões de Privacidade: Como as tecnologias de detecção de comportamento frequentemente envolvem coleta extensiva de dados, abordar questões de privacidade é fundamental. Garantir que os dados dos usuários sejam protegidos e usados de maneira ética promove uma abordagem responsável para o design de tecnologia.

Conclusão

O desenvolvimento e a aplicação das tecnologias de detecção de comportamento têm um grande potencial para melhorar nossa compreensão do comportamento humano. No entanto, para garantir que essas tecnologias sejam eficazes e justas, é crucial adotar um framework que priorize a sensibilidade ao contexto e o engajamento dos usuários.

Ao reconhecer os danos potenciais que podem surgir de uma abordagem de design de cima para baixo e ao abordar as necessidades únicas de diversos grupos de usuários, os criadores de tecnologia podem criar tecnologias de detecção de comportamento mais responsáveis e eficazes. Os insights obtidos dos estudos do mundo real ressaltam a importância da avaliação contínua, do envolvimento dos usuários e do compromisso com a justiça no processo de design. Avançando, é essencial buscar tecnologias que não apenas melhorem o bem-estar, mas que também respeitem e respondam às experiências complexas e variadas de todos os usuários.

Fonte original

Título: Illuminating the Unseen: Investigating the Context-induced Harms in Behavioral Sensing

Resumo: Behavioral sensing technologies are rapidly evolving across a range of well-being applications. Despite its potential, concerns about the responsible use of such technology are escalating. In response, recent research within the sensing technology has started to address these issues. While promising, they primarily focus on broad demographic categories and overlook more nuanced, context-specific identities. These approaches lack grounding within domain-specific harms that arise from deploying sensing technology in diverse social, environmental, and technological settings. Additionally, existing frameworks for evaluating harms are designed for a generic ML life cycle, and fail to adapt to the dynamic and longitudinal considerations for behavioral sensing technology. To address these gaps, we introduce a framework specifically designed for evaluating behavioral sensing technologies. This framework emphasizes a comprehensive understanding of context, particularly the situated identities of users and the deployment settings of the sensing technology. It also highlights the necessity for iterative harm mitigation and continuous maintenance to adapt to the evolving nature of technology and its use. We demonstrate the feasibility and generalizability of our framework through post-hoc evaluations on two real-world behavioral sensing studies conducted in different international contexts, involving varied population demographics and machine learning tasks. Our evaluations provide empirical evidence of both situated identity-based harm and more domain-specific harms, and discuss the trade-offs introduced by implementing bias mitigation techniques.

Autores: Han Zhang, Vedant Das Swain, Leijie Wang, Nan Gao, Yilun Sheng, Xuhai Xu, Flora D. Salim, Koustuv Saha, Anind K. Dey, Jennifer Mankoff

Última atualização: 2024-05-05 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2404.14665

Fonte PDF: https://arxiv.org/pdf/2404.14665

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes