Diseñando tecnologías de detección de comportamiento responsables

A medida que la tecnología avanza, hemos ganado la capacidad de rastrear y analizar el comportamiento humano a través de varios dispositivos de detección. Estos dispositivos pueden ayudarnos a entender cómo se comportan las personas en diferentes situaciones y mejorar nuestro bienestar. Sin embargo, hay preocupaciones significativas sobre cómo se diseñan e implementan estas tecnologías.

#La Importancia del Contexto

El diseño de tecnologías de detección de comportamiento a menudo no considera los diversos contextos en los que se utilizan. Muchas veces, quienes crean la tecnología hacen herramientas basadas en sus suposiciones sobre lo que los usuarios necesitan o quieren. Este enfoque de arriba hacia abajo puede llevar a situaciones donde la tecnología no cumple con su propósito o incluso causa daño a ciertos grupos de usuarios.

Por ejemplo, algunos usuarios pueden pertenecer a grupos de identidad que a menudo se pasan por alto, como aquellos definidos por la raza, género o estatus socioeconómico. Ignorar estas diferencias puede resultar en tecnologías que no funcionan bien para todos. En algunos casos, incluso podrían reforzar desigualdades existentes.

#Tipos de Daño Potencial

Al analizar las tecnologías de detección de comportamiento, podemos identificar dos tipos principales de daño potencial: daño basado en la identidad y daño basado en la situación.

1. Daño Basado en la Identidad: Esto ocurre cuando la tecnología no tiene en cuenta las diversas identidades de sus usuarios. Por ejemplo, muchos estudios no han abordado cómo los antecedentes variados, como la raza o el género, pueden impactar las experiencias de los usuarios. No considerar estos factores puede hacer que la tecnología sea menos efectiva para ciertos grupos o incluso perjudicial para ellos.

2. Daño Basado en la Situación: Este tipo de daño surge de los contextos en los que se utiliza la tecnología. Diferentes situaciones pueden no estar bien representadas en los datos utilizados para desarrollar la tecnología. Por ejemplo, si una herramienta de detección se diseña principalmente utilizando datos de un tipo específico de smartphone, puede no funcionar de manera efectiva para usuarios de diferentes dispositivos, especialmente aquellos de orígenes socioeconómicos más bajos.

#Necesidad de un Marco de Trabajo

Para abordar estos problemas, se necesita un marco estructurado que los creadores de tecnología puedan seguir. Este marco debería incluir varios pasos para ayudar a garantizar que la tecnología sea sensible a los diferentes contextos e identidades de los usuarios.

1. Entender el Contexto: El primer paso implica comprender de manera integral los diversos antecedentes de los usuarios y las situaciones específicas en las que se utilizará la tecnología. Esta comprensión debería incluir la interacción con los usuarios para aprender sobre sus necesidades y experiencias.

2. Evaluar Daños Potenciales: Después de entender el contexto, los creadores de tecnología deberían establecer criterios para evaluar cualquier daño potencial que pueda surgir de la tecnología. Esta evaluación debería analizar cómo la tecnología puede desempeñarse de manera diferente para usuarios con diversas identidades o en diferentes situaciones.

3. Recoger Datos Inclusivos: La Recolección de datos debería reflejar la diversidad de los usuarios. Los desarrolladores deberían recopilar datos de varios grupos demográficos y considerar diferentes factores situacionales durante el proceso de recolección.

4. Desarrollar Algoritmos Sensibles al Contexto: Los algoritmos deberían diseñarse para tener en cuenta los diferentes contextos y los daños potenciales que pueden surgir del uso de la tecnología. La mejora y refinamiento continuo deberían ser parte de este proceso.

5. Realizar Evaluaciones de Daño: Una vez que la tecnología esté implementada, se deberían realizar evaluaciones continuas para identificar y abordar cualquier daño potencial. Este proceso de evaluación debería incluir retroalimentación de los usuarios para mejorar el rendimiento de la tecnología.

6. Mantener Datos y Algoritmos: El monitoreo y actualización continua de datos y algoritmos son esenciales para garantizar que la tecnología siga siendo efectiva y sensible a varios contextos con el tiempo.

#Estudios del Mundo Real

Para validar el marco propuesto, podemos examinar estudios del mundo real que se centran en la detección del bienestar y la predicción del compromiso utilizando tecnologías de detección de comportamiento. Estos estudios pueden proporcionar información sobre la efectividad y los daños potenciales asociados con tecnologías existentes.

#Estudio 1: Detección de Depresión

En este estudio, los investigadores buscaban detectar la depresión a través de datos recopilados de smartphones y dispositivos portátiles. A pesar de los beneficios potenciales de usar esta tecnología, el estudio reveló fallas significativas en cómo se construyeron los algoritmos.

• Muchos de los algoritmos no consideraron los diversos antecedentes de las personas. Por ejemplo, los diseños se centraron predominantemente en factores como la edad y el género, mientras que se ignoraron otros factores importantes de identidad.

• Hubo poca evidencia de la participación de usuarios en el proceso de diseño. Involucrar a los usuarios desde el principio puede proporcionar información valiosa y ayudar a crear tecnología que satisfaga mejor sus necesidades.

• Los algoritmos utilizados en el estudio mostraron sesgos contra ciertos grupos demográficos. Los usuarios de comunidades marginadas enfrentaron mayores riesgos debido a la falta de consideración de sus experiencias específicas.

#Estudio 2: Predicción del Compromiso Estudiantil

El segundo estudio se centró en predecir el compromiso estudiantil en entornos educativos a través de sensores portátiles y monitoreo ambiental. Al igual que el primer estudio, enfrentó desafíos en cómo se diseñó la tecnología.

• Nuevamente, hubo una falta de participación de los usuarios. Sin entender las experiencias y necesidades de los estudiantes, es menos probable que la tecnología sea efectiva.

• El conjunto de datos utilizado en este estudio no representó suficientemente a varios grupos demográficos. Esta falta de representación puede llevar a resultados sesgados y predicciones erróneas sobre el compromiso.

• Se utilizaron datos de sensores portátiles y encuestas para evaluar el compromiso, pero incluso con esta información, los algoritmos no abordaron adecuadamente el contexto en el que los estudiantes estaban aprendiendo.

#Perspectivas de las Evaluaciones

Las evaluaciones de los dos estudios resaltan ideas importantes para el diseño de tecnologías de detección de comportamiento:

• Falta de Consideración del Contexto: Ambos estudios demostraron que las tecnologías existentes a menudo pasan por alto la importancia del contexto en sus diseños. Sin esta comprensión, pueden surgir daños potenciales cuando la tecnología se utiliza en situaciones del mundo real.

• La Participación del Usuario es Esencial: Involucrar a los usuarios durante el proceso de diseño puede conducir a mejores resultados. Los creadores de tecnología necesitan entender las diversas experiencias de su base de usuarios para crear herramientas más efectivas.

• Dinámicas Complejas de la Equidad: Lograr la equidad en los algoritmos es un desafío multifacético. Los esfuerzos para reducir el sesgo para un grupo pueden introducir inadvertidamente sesgo contra otro. Los creadores de tecnología deben considerar cuidadosamente estos compromisos.

#Hacia un Diseño Responsable

Para fomentar un diseño responsable en tecnologías de detección de comportamiento, hay algunas consideraciones que deben abordarse:

1. Mantenimiento Regular: Las actualizaciones y el mantenimiento continuos de los datos y algoritmos son vitales para garantizar que la tecnología siga siendo relevante y efectiva. Los creadores de tecnología deben esforzarse por minimizar la carga de mantenimiento sobre los usuarios, asegurando al mismo tiempo la fiabilidad del sistema.

2. Incorporar Retroalimentación de Usuarios: Establecer bucles de retroalimentación continua con los usuarios puede ayudar a los creadores de tecnología a hacer ajustes necesarios basados en el uso del mundo real y necesidades en evolución.

3. Enfoque en la Transparencia: Proporcionar información clara sobre cómo funciona la tecnología y cómo se toman las decisiones puede ayudar a generar confianza entre los usuarios. La transparencia permite a los usuarios comprender mejor las fortalezas y limitaciones de la tecnología.

4. Abordar Preocupaciones de Privacidad: Como las tecnologías de detección de comportamiento a menudo implican una extensa recolección de datos, abordar problemas de privacidad es primordial. Asegurar que los datos de los usuarios estén protegidos y se usen éticamente fomenta un enfoque responsable en el diseño tecnológico.

#Conclusión

El desarrollo y la aplicación de tecnologías de detección de comportamiento tienen un gran potencial para mejorar nuestra comprensión del comportamiento humano. Sin embargo, para asegurar que estas tecnologías sean efectivas y equitativas, es crucial adoptar un marco que priorice la sensibilidad al contexto y la participación del usuario.

Al reconocer los daños potenciales que pueden surgir de un enfoque de diseño de arriba hacia abajo y al abordar las necesidades únicas de diversos grupos de usuarios, los creadores de tecnología pueden crear tecnologías de detección de comportamiento más responsables y efectivas. Las ideas obtenidas de estudios del mundo real subrayan la importancia de la evaluación continua, la participación del usuario y un compromiso con la equidad en el proceso de diseño. De cara al futuro, es esencial esforzarse por tecnologías que no solo mejoren el bienestar, sino que también respeten y respondan a las experiencias complejas y variadas de todos los usuarios.