Mejorando la Etiquetación de Actividades con Sensores Vestibles

La investigación sobre el uso de sensores portátiles para rastrear actividades humanas está creciendo rápidamente. Esto tiene muchos beneficios, desde ayudar a pacientes de salud hasta mejorar tareas en el trabajo. En este estudio, analizamos cuatro formas de etiquetar actividades al usar estos sensores. Estos métodos se dividen en dos grupos: etiquetado en el momento, que ocurre durante la actividad, y etiquetado por recuerdo, donde las personas recuerdan sus actividades más tarde.

Nuestros hallazgos muestran que diferentes métodos de etiquetado afectan la calidad de los datos recopilados y qué tan bien los Modelos de Aprendizaje Profundo pueden trabajar con esos datos. Específicamente, los métodos en el momento produjeron etiquetas menos numerosas, pero más precisas, en comparación con los métodos de recuerdo. También introdujimos una herramienta que combina un diario de actividades con una forma de visualizar los datos de los sensores. Esto ayudó a los participantes a etiquetar mejor sus actividades, reduciendo etiquetas faltantes y mejorando la calidad general de los datos usados para entrenar el modelo de aprendizaje profundo.

#Importancia de la Anotación Precisa

Al registrar datos de sensores portátiles, es crucial tener etiquetas precisas. Estas etiquetas ayudan a los investigadores y a las máquinas a entender qué actividades se realizaron y cuándo. Un mal etiquetado puede llevar a problemas en la detección correcta de actividades. En un entorno real, la gente a menudo olvida anotar lo que hizo, o puede que no recuerde todos los detalles. Esto puede dificultar la confianza en los datos recopilados.

Nuestro estudio enfatiza la necesidad de mejores métodos de etiquetado, especialmente para reconocer actividades complejas del día a día. La mayoría de la investigación existente se ha centrado en actividades más simples en entornos controlados, donde se pueden manejar las condiciones. Sin embargo, la vida real no es así. Es más complicada y necesitamos mejores métodos para capturar esa complejidad.

#Configuración del Estudio

En nuestro estudio, once participantes, principalmente investigadores familiarizados con la interpretación de datos, nos ayudaron a probar cuatro métodos diferentes de anotación durante un período de dos semanas. Los participantes usaron un tipo específico de reloj inteligente que registraba datos de sensores mientras realizaban actividades diarias. Usaron los siguientes métodos para etiquetar sus actividades:

1. Botón en el Momento: Los participantes presionaron un botón en el reloj inteligente al comenzar y detener una actividad.
2. App en el Momento: Los participantes usaron una app en su smartphone para registrar sus actividades en tiempo real.
3. Recuerdo Puro: Al final de cada día, los participantes escribieron un diario de actividades, recordando sus actividades de memoria.
4. Herramienta de Recuerdo Visual: Los participantes combinaron su diario con una herramienta visual que mostraba sus datos de sensores, ayudándoles a recordar y etiquetar actividades con precisión.

En la primera semana, los participantes usaron los primeros tres métodos. En la segunda semana, añadimos la herramienta de recuerdo visual, que les permitió ver sus datos de actividad y hacer anotaciones basadas en eso.

#Análisis de Métodos de Anotación

Cada método arroja diferentes resultados en términos de calidad y completitud de las etiquetas. Los métodos en el momento proporcionaron etiquetas precisas, pero implicaron el riesgo de olvidar presionar el botón o registrar actividades. El método de recuerdo, aunque más completo a primera vista, mostró debilidades debido a errores de memoria.

Usar la herramienta de recuerdo visual mostró resultados prometedores, ya que los participantes hicieron anotaciones más precisas cuando podían inspeccionar visualmente sus datos. Este método ayudó a reducir las anotaciones faltantes y aumentó la consistencia de las etiquetas a lo largo del tiempo. Descubrimos que combinar una herramienta visual con un diario es una forma efectiva de ayudar a los participantes a recordar mejor sus actividades.

#Anotaciones Faltantes

Uno de los mayores desafíos que enfrentamos en este estudio fue lidiar con las anotaciones faltantes. Las etiquetas faltantes pueden sesgar los resultados y dificultar la comprensión adecuada de los datos. Nuestro análisis mostró que usar el método del botón en el momento resultó en muchas anotaciones faltantes. A veces, los participantes olvidaban presionar el botón al inicio o al final de una actividad.

En contraste, el método de recuerdo puro, aunque generalmente mejor para evitar anotaciones faltantes, aún mostraba imprecisión en el tiempo de las actividades. Los participantes tendían a redondear las estimaciones de tiempo y registrar sus actividades de una manera que no coincidía con los datos reales recopilados por los sensores.

El método de recuerdo visual ayudó a reducir significativamente el número de etiquetas faltantes. Los participantes informaron mayor satisfacción y se sintieron más seguros sobre la precisión de sus anotaciones cuando podían ver sus datos junto con las entradas de su diario.

#Efectos en Modelos de Aprendizaje Automático

La calidad de las etiquetas influenció directamente qué tan bien funcionaron los modelos de aprendizaje profundo. Cuando entrenamos modelos con anotaciones de diferentes métodos, notamos que los modelos entrenados con métodos en el momento tendían a desempeñarse mejor. En particular, el uso del método de la app arrojó el mejor rendimiento promedio.

Por el contrario, los modelos entrenados con datos etiquetados principalmente por métodos de recuerdo a menudo tenían un rendimiento inferior. Esto sugiere que, aunque podemos recopilar muchos datos, la precisión de esos datos es crucial para entrenar clasificadores de aprendizaje automático efectivos.

Otra observación fue que la calidad de las anotaciones es a veces más importante que la cantidad de datos. Un conjunto más pequeño de etiquetas de alta calidad puede llevar a un mejor rendimiento general que un conjunto más grande de datos mal etiquetados. Por lo tanto, es esencial centrarse en la calidad de los métodos de recolección de datos en futuros estudios.

#Sesgos en Métodos de Anotación

Pueden surgir diferentes sesgos de los métodos de anotación elegidos. Por ejemplo, cuando los participantes usan métodos de recuerdo, su capacidad para recordar actividades puede variar mucho, lo que lleva a inconsistencias. También pueden ocurrir sesgos de comportamiento si los participantes sienten que están siendo observados. Sin embargo, en este estudio, los participantes no fueron monitoreados de cerca, lo que minimizó este efecto.

El sesgo de auto-anotación ocurre cuando los participantes etiquetan sus actividades en aislamiento sin ninguna confirmación de otros. Esto puede llevar a inexactitudes en el etiquetado. Nuestro análisis de aprendizaje profundo mostró que el clasificador a veces podía manejar este sesgo mejor que los sesgos que provienen de un mal recuerdo.

Reconocer y abordar estos sesgos es esencial para mejorar la fiabilidad de los estudios de reconocimiento de actividades.

#Recomendaciones para Futuros Estudios

Basado en nuestros hallazgos, recomendamos varias estrategias para mejorar los métodos de etiquetado en futuros estudios:

1. Integración de Software: Incluir una herramienta digital que permita a los participantes visualizar sus datos de sensores puede mejorar la calidad de las anotaciones. Enseñar a los participantes a interpretar sus datos también les ayudará a hacer etiquetas más precisas.

2. Soluciones Amigables para el Usuario: Simplificar el proceso de anotación es crucial. Si etiquetar se vuelve demasiado tedioso, los participantes pueden optar por no participar o no participar plenamente. Los investigadores deben diseñar cuidadosamente sistemas que sean fáciles de usar e integrarse en las rutinas diarias de los participantes.

3. Combinación de Métodos: Usar una combinación de métodos en el momento y métodos de recuerdo, especialmente con ayudas visuales, a menudo resulta en un mejor rendimiento general. Esta combinación puede llevar a anotaciones más completas y precisas.

4. Capacitación y Conciencia: Proporcionar capacitación a los participantes sobre cómo interpretar datos de sensores y la importancia de un etiquetado preciso puede conducir a mejores resultados. La conciencia sobre los sesgos potenciales y sus impactos también puede ayudar a los participantes a etiquetar sus actividades de manera más efectiva.

#Conclusión

Etiquetar actividades humanas usando sensores portátiles presenta desafíos, pero la calidad de los métodos de anotación puede hacer una diferencia significativa. Nuestro estudio destaca la importancia de encontrar formas de mejorar la precisión y consistencia de las etiquetas.

Descubrimos que una combinación de métodos en el momento y de recuerdo, especialmente cuando se emparejan con datos visuales, proporciona los mejores resultados. Mejorar nuestros métodos de anotación es crucial para avanzar en la investigación en esta área y aprovechar de manera efectiva el aprendizaje automático para reconocer actividades humanas complejas.

Los hallazgos de este estudio sirven como guía para futuras investigaciones para crear mejores sistemas de reconocimiento de actividades que puedan adaptarse a las complejidades de los entornos del mundo real. Al invertir en mejores herramientas y métodos de anotación, podemos mejorar la calidad y utilidad general de los datos recopilados de los sensores portátiles.