Adaptando Transformadores de Video para Monitoreo de Salud Remota

La medición fisiológica remota (RPM) juega un papel clave en la atención médica, permitiendo a los profesionales de la salud monitorear los signos vitales de los pacientes, como la frecuencia cardíaca, sin necesidad de que estén en un entorno clínico. Este método se usa cada vez más con dispositivos portátiles que pueden rastrear varios indicadores de salud. Recientemente, los videos faciales se han convertido en una nueva forma de llevar a cabo la RPM. Este enfoque puede mejorar las capacidades de monitoreo, aunque su éxito depende mucho de cuán preciso y confiable sea el video para capturar datos de salud en diferentes tipos de pacientes.

Los avances recientes en la tecnología de procesamiento de video, especialmente a través de lo que se conoce como transformers, han mejorado significativamente la forma en que las máquinas interpretan los datos visuales. Estos transformers se han adaptado para el análisis facial, que incluye tareas como la RPM. Sin embargo, muchos métodos actuales de RPM dependen de herramientas y técnicas especializadas que pueden no funcionar bien en diferentes conjuntos de datos. Estas herramientas especializadas pueden mejorar el rendimiento, pero no se benefician de las últimas mejoras realizadas en las tecnologías de procesamiento de video en general.

Este estudio tiene como objetivo investigar un método llamado General Video Transformers (GVT) para adaptar mejor estas herramientas para la RPM. Al centrarnos en cómo entrenamos estos modelos, incluida la forma en que preparamos nuestros datos y diseñamos las redes, buscamos encontrar maneras de mejorar el proceso de RPM sin necesidad de herramientas especializadas.

#Importancia de la RPM

La RPM es esencial para los servicios de atención médica remota, especialmente para los pacientes con condiciones crónicas que pueden necesitar monitoreo constante. Los métodos tradicionales para medir signos vitales generalmente requieren dispositivos conectados al cuerpo, como monitores de frecuencia cardíaca o manguitos de presión arterial. Estos métodos pueden ser incómodos e inconvenientes para un uso a largo plazo. En contraste, los métodos sin contacto como la fotopletismografía remota (rPPG) usan cámaras de video simples, como las de los smartphones, para recopilar datos.

En la rPPG, el video captura cambios en la luz que se refleja en la piel, lo que puede proporcionar métricas de salud importantes como la presión arterial y la frecuencia cardíaca. Este nuevo enfoque está ganando popularidad debido a su facilidad de uso y eficacia para recopilar datos de salud a distancia.

#Técnicas Anteriores

Los métodos anteriores para la RPM basada en video dependían de técnicas tradicionales de aprendizaje automático. Los investigadores a menudo usaban técnicas diseñadas para reducir el ruido y recuperar señales importantes de los videos. Por ejemplo, algunos métodos incluían un proceso llamado análisis de componentes independientes para separar las señales de rPPG del ruido de fondo.

A medida que la tecnología avanzaba, comenzaron a usarse técnicas de aprendizaje profundo como las Redes Neuronales Convolucionales (CNN). Estas redes mostraron un mejor rendimiento al aprender de videos e imágenes. Por ejemplo, algunos investigadores desarrollaron CNN que podían ajustarse automáticamente a los movimientos de la cabeza para mejorar la precisión de la señal.

Más recientemente, los transformers, que se popularizaron inicialmente por su uso en el procesamiento de lenguaje natural, han mostrado promesas en el análisis de video. Los transformers pueden manejar secuencias largas de datos de manera eficiente, haciéndolos adecuados para analizar grabaciones de video donde el tiempo es un factor crítico.

#Desafíos con los Métodos Actuales

A pesar de las ventajas de los transformers, muchos métodos de RPM aún requieren modificaciones especiales para funcionar de manera efectiva. Por ejemplo, algunas técnicas reemplazan componentes estándar de transformers con herramientas específicas de RPM, lo que puede no ser adaptable a diferentes conjuntos de datos. Esta falta de generalizabilidad puede limitar su efectividad al aplicarse a nuevos datos.

En contraste, investigaciones recientes sugieren que los transformers pueden adaptarse efectivamente a diversas tareas sin requerir modificaciones específicas. Por ejemplo, algunos estudios han mostrado que los transformers pueden manejar con éxito datos de audio, lo que hace razonable esperar que también funcionen bien para el procesamiento de señales de rPPG.

#Nuestro Enfoque

En este estudio, exploramos cómo adaptar los General Video Transformers para la RPM. Nuestro objetivo era crear pautas prácticas que permitan usar estos transformers de manera efectiva sin necesidad de modificaciones específicas para RPM. Al hacer esto, esperamos demostrar que los transformers pueden mantener su arquitectura original mientras son más versátiles en diferentes conjuntos de datos.

Para lograrlo, nos centramos en dos aspectos principales: cómo preparamos nuestros datos antes de ingresarlos al modelo y cómo configuramos la arquitectura de la red. Realizamos varios experimentos en múltiples conjuntos de datos, probando diferentes configuraciones y métodos de entrenamiento para determinar cuáles ofrecían los mejores resultados.

#Configuración del Experimento

Realizamos experimentos en varios conjuntos de datos utilizando un método que desarrollamos llamado GVT2RPM. Nuestro objetivo principal era encontrar las configuraciones de entrenamiento óptimas para diferentes conjuntos de datos. Los experimentos se dividieron en dos categorías: pruebas intra-dataset y pruebas cross-dataset. Las pruebas intra-dataset involucraron entrenamiento y prueba en el mismo conjunto de datos, mientras que las pruebas cross-dataset involucraron entrenamiento en un conjunto de datos y prueba en otro.

El rendimiento de nuestro método se midió utilizando una métrica estándar llamada Error Absoluto Medio (MAE). Un MAE más bajo indica mejor precisión en las mediciones fisiológicas predichas.

#Pre-Procesamiento de Datos

Una parte significativa de nuestro trabajo involucró cómo preparamos los datos antes de aplicarlos al modelo. Identificamos varias áreas clave para mejorar:

#Dimensiones de Entrada

Las dimensiones estándar para videos utilizados en tareas de reconocimiento general pueden diferir significativamente de las necesarias para la RPM. Mientras que el reconocimiento de video general a menudo se centra en detalles espaciales, la RPM requiere capturar señales continuas a lo largo del tiempo. Como resultado, probamos varias dimensiones de entrada para encontrar las que mejor funcionaban para nuestras necesidades.

#Formato de Salida

En la RPM, las salidas que buscamos pueden ser señales rPPG continuas o valores de frecuencia cardíaca derivados. Al adaptar nuestros modelos para predecir señales rPPG directamente, notamos mejoras significativas en precisión.

#Formato de Fotogramas de Video

Usar fotogramas RGB en bruto de videos puede ser complicado debido a la interferencia de la iluminación y los reflejos en la piel. Descubrimos que una técnica llamada Diferencias de Fotogramas Normalizados (DiffNorm) ayudó a mejorar la calidad de las entradas al reducir estos ruidos.

#Normalización de Señales

Normalizar las señales en una escala consistente puede ayudar a mejorar la tasa de convergencia del modelo. Si bien técnicas comunes como la estandarización funcionan en muchos casos, descubrimos que podían ser problemáticas en conjuntos de datos específicos que no seguían una distribución normal.

#Configuraciones de Red

Además del pre-procesamiento de datos, también examinamos diferentes configuraciones de red para optimizar nuestros modelos para la RPM:

#Codificaciones Posicionales

A diferencia de las CNN, los transformers no entienden inherentemente el orden de sus entradas. Como resultado, exploramos diferentes métodos de codificación posicional para proporcionar el contexto necesario para interpretar correctamente los datos de video. Descubrimos que un método en particular, la codificación posicional relativa, funcionaba mejor en la mayoría de los casos.

#Estrategias de Escalado

Los transformers de video modernos a menudo utilizan jerarquías multiescala, lo que puede optimizar el rendimiento al ajustar las resoluciones en diferentes etapas de la red. Experimentamos con varias estrategias de escalado, enfocándonos particularmente en cómo estos cambios afectaban el aprendizaje de señales temporales.

#Resultados

Nuestros experimentos mostraron que adaptar los General Video Transformers a la RPM dio resultados prometedores. La configuración que diseñamos, GVT2RPM, permitió que estos modelos lograran un rendimiento razonablemente bueno sin necesidad de módulos específicos para RPM.

#Experimentos Intra-Dataset

En nuestras pruebas intra-dataset, observamos que nuestras técnicas de preprocesamiento, particularmente el uso de DiffNorm, mejoraron consistentemente el rendimiento en todos los conjuntos de datos. Además, notamos que la elección de formatos de salida y técnicas de normalización impactó significativamente la precisión del modelo, especialmente en conjuntos de datos más simples en comparación con los más complejos.

Nuestros hallazgos reforzaron la idea de que los transformers podrían beneficiarse de estrategias de escalado temporal adecuadas, lo que ayudó a los modelos a aprender de manera más efectiva a partir de los datos de video.

#Experimentos Cross-Dataset

Durante nuestros experimentos cross-dataset, encontramos que las mejoras de rendimiento observadas en las pruebas intra-dataset también se trasladaron a diferentes conjuntos de datos. Esta robustez indica que nuestras pautas para adaptar GVTs a la RPM pueden aplicarse en diversas situaciones, mejorando la generalizabilidad del modelo.

Descubrimos que el uso de DiffNorm continuó mejorando los esfuerzos de transferencia de aprendizaje. También destacó la importancia de entender cómo las elecciones de normalización y codificación posicional impactan la efectividad general en diferentes conjuntos de datos.

#Conclusión

Nuestro estudio exploró con éxito cómo adaptar los General Video Transformers para la medición fisiológica remota. Al establecer pautas prácticas, demostramos que es posible mejorar el rendimiento de la RPM sin recurrir a modificaciones específicas, maximizando así las fortalezas inherentes de la arquitectura de transformers.

A través de una variedad de experimentos en múltiples conjuntos de datos, encontramos ideas clave sobre la preparación de datos y la configuración de redes que pueden ayudar en proyectos futuros en el campo. Creemos que estos hallazgos contribuirán a avanzar en las capacidades de monitoreo de atención médica remota y mejorar los resultados de los pacientes a largo plazo.

#Trabajo Futuro

Si bien nuestro estudio ha iluminado varios aspectos importantes de la adaptación de transformers para la RPM, reconocemos que todavía hay áreas para mejorar. La investigación futura necesitará abordar los efectos de varios factores del paciente, como el tono de piel, en el rendimiento del modelo. Además, planeamos investigar el uso de modelos de transformers más grandes para ver si nuestras pautas son escalables a arquitecturas más complejas.

Por último, pretendemos automatizar la selección de configuraciones óptimas a través de una exploración sistemática, lo que podría simplificar el enfoque para proyectos futuros en este dominio.