Adaptando Transformadores de Vídeo para Monitoramento de Saúde Remota

A medição fisiológica remota (RPM) é super importante na área da saúde, permitindo que os profissionais monitorem os sinais vitais dos pacientes, tipo frequência cardíaca, sem precisar que eles estejam em um ambiente clínico. Esse método tá sendo cada vez mais usado com dispositivos vestíveis que conseguem rastrear vários indicadores de saúde. Recentemente, vídeos faciais viraram uma nova forma de fazer RPM. Essa abordagem pode melhorar as capacidades de monitoramento, mas seu sucesso depende muito de quão precisamente e confiavelmente esses vídeos conseguem capturar dados de saúde de diferentes tipos de pacientes.

Os avanços recentes na tecnologia de processamento de vídeo, especialmente com o que é chamado de transformers, melhoraram muito a forma como as máquinas interpretam dados visuais. Esses transformers foram adaptados para análise facial, que inclui tarefas como RPM. No entanto, muitos métodos de RPM atuais dependem de ferramentas e técnicas especializadas que podem não funcionar bem em diferentes conjuntos de dados. Essas ferramentas especializadas podem melhorar o desempenho, mas não se beneficiam das últimas melhorias feitas nas tecnologias gerais de processamento de vídeo.

Esse estudo tem como objetivo investigar um método chamado General Video Transformers (GVT) para adaptar essas ferramentas melhor para RPM. Focando em como treinamos esses modelos, incluindo como preparamos nossos dados e projetamos as redes, queremos encontrar maneiras de melhorar o processo de RPM sem precisar de ferramentas especializadas.

#Importância da RPM

A RPM é essencial para serviços de saúde remota, especialmente para pacientes com condições crônicas que podem precisar de monitoramento constante. Métodos tradicionais de medição de sinais vitais geralmente exigem dispositivos conectados ao corpo, como monitores de frequência cardíaca ou manguitos para medir pressão arterial. Esses métodos podem ser desconfortáveis e inconvenientes para uso a longo prazo. Em contraste, métodos sem contato, como a fotopletismografia remota (rPPG), utilizam câmeras simples, como as de smartphones, para coletar dados.

Na rPPG, o vídeo captura mudanças na luz refletindo na pele, o que pode fornecer métricas de saúde importantes como pressão arterial e frequência cardíaca. Essa nova abordagem tá ganhando popularidade pela sua facilidade de uso e eficácia em coletar dados de saúde à distância.

#Técnicas Anteriores

Métodos anteriores para RPM baseados em vídeo dependiam de técnicas tradicionais de aprendizado de máquina. Os pesquisadores costumavam usar técnicas projetadas para reduzir ruídos e recuperar sinais importantes dos vídeos. Por exemplo, alguns métodos incluíam um processo chamado análise de componentes independentes para separar os sinais de rPPG do ruído de fundo.

Com o avanço da tecnologia, técnicas de aprendizado profundo, como Redes Neurais Convolucionais (CNNs), começaram a ser usadas. Essas redes mostraram um desempenho melhor em aprender com vídeos e imagens. Por exemplo, alguns pesquisadores desenvolveram CNNs que conseguiam se ajustar automaticamente aos movimentos da cabeça para melhorar a precisão do sinal.

Mais recentemente, transformers, que inicialmente foram popularizados pelo uso em processamento de linguagem natural, mostraram potencial na análise de vídeo. Transformers conseguem lidar de forma eficiente com longas sequências de dados, o que os torna adequados para analisar filmagens em que o tempo é um fator crítico.

#Desafios com Métodos Atuais

Apesar das vantagens dos transformers, muitos métodos de RPM ainda exigem modificações especiais para funcionar de forma eficaz. Por exemplo, algumas técnicas substituem componentes padrão dos transformers por ferramentas específicas de RPM, o que pode não ser adaptável a diferentes conjuntos de dados. Essa falta de generalização pode limitar sua eficácia quando aplicados a novos dados.

Em contraste, pesquisas recentes sugerem que os transformers podem se adaptar efetivamente a várias tarefas sem exigir modificações específicas. Por exemplo, alguns estudos mostraram que os transformers conseguem lidar bem com dados de áudio, tornando razoável esperar que também funcionem bem para o processamento de sinais de rPPG.

#Nossa Abordagem

Neste estudo, exploramos como adaptar os General Video Transformers para RPM. Nosso objetivo era criar diretrizes práticas que permitissem o uso eficaz desses transformers sem precisar de modificações específicas de RPM. Com isso, esperamos demonstrar que os transformers podem manter sua arquitetura original enquanto são mais versáteis em diferentes conjuntos de dados.

Para alcançar isso, focamos em dois aspectos principais: como preparamos nossos dados antes de inseri-los no modelo e como configuramos a própria arquitetura da rede. Realizamos vários experimentos em múltiplos conjuntos de dados, testando diferentes configurações e métodos de treinamento para determinar quais forneciam os melhores resultados.

#Configuração do Experimento

Fizemos experimentos em vários conjuntos de dados usando um método que desenvolvemos chamado GVT2RPM. Nosso objetivo principal era encontrar as configurações de treinamento ideais para diferentes conjuntos de dados. Os experimentos foram divididos em duas categorias: testes intra-conjunto de dados e testes cruzados. Testes intra-conjunto envolveram treinar e testar no mesmo conjunto, enquanto testes cruzados envolveram treinar em um conjunto e testar em outro.

O desempenho do nosso método foi medido usando uma métrica padrão chamada Erro Absoluto Médio (MAE). Um MAE mais baixo indica melhor precisão nas medições fisiológicas previstas.

#Pré-Processamento de Dados

Uma parte significativa do nosso trabalho envolveu como preparamos os dados antes de aplicá-los ao modelo. Identificamos várias áreas-chave para melhoria:

#Dimensões de Entrada

As dimensões padrão para vídeos usados em tarefas de reconhecimento geral podem diferir significativamente das necessárias para RPM. Enquanto o reconhecimento de vídeo geral costuma focar em detalhes espaciais, a RPM requer capturar sinais contínuos ao longo do tempo. Como resultado, testamos várias dimensões de entrada para encontrar aquelas que funcionavam melhor para nossas necessidades.

#Formato de Saída

Na RPM, as saídas que buscamos podem ser sinais contínuos de rPPG ou valores derivados de frequência cardíaca. Ao adaptar nossos modelos para prever diretamente sinais de rPPG, notamos melhorias significativas na precisão.

#Formato de Quadros de Vídeo

Usar quadros RGB brutos de vídeos pode ser complicado devido a interferências de iluminação e reflexos na pele. Descobrimos que uma técnica chamada Diferenças de Quadros Normalizados (DiffNorm) ajudou a melhorar a qualidade das entradas, reduzindo esses ruídos.

#Normalização de Sinais

Normalizar os sinais em uma escala consistente pode ajudar a melhorar a taxa de convergência do modelo. Embora técnicas comuns como padronização funcionem em muitos casos, descobrimos que podiam ser problemáticas em conjuntos de dados específicos que não seguiam uma distribuição normal.

#Configurações de Rede

Além do pré-processamento de dados, também examinamos diferentes configurações de rede para otimizar nossos modelos para RPM:

#Codificações Posicionais

Diferente das CNNs, os transformers não entendem, por padrão, a ordem de suas entradas. Por isso, exploramos diferentes métodos de codificação posicional para fornecer o contexto necessário para interpretar os dados de vídeo de forma precisa. Descobrimos que um método particular, a codificação posicional relativa, teve um desempenho melhor na maioria dos casos.

#Estratégias de Escalonamento

Transformers de vídeo modernos costumam usar hierarquias multiescalares, o que pode otimizar o desempenho ajustando as resoluções em diferentes estágios da rede. Testamos várias estratégias de escalonamento, focando particularmente em como essas mudanças afetavam o aprendizado de sinais temporais.

#Resultados

Nossos experimentos mostraram que adaptar os General Video Transformers para RPM rendeu resultados promissores. A configuração que projetamos, GVT2RPM, permitiu que esses modelos alcançassem um desempenho razoavelmente bom sem precisar de módulos específicos de RPM.

#Experimentos Intra-Conjunto de Dados

Nos nossos testes intra-conjunto, observamos que nossas técnicas de pré-processamento, especialmente usando DiffNorm, melhoraram consistentemente o desempenho em todos os conjuntos de dados. Além disso, notamos que a escolha de formatos de saída e técnicas de normalização impactou significativamente a precisão do modelo, especialmente em conjuntos de dados mais simples em comparação com os mais complexos.

Nossos achados reforçaram a ideia de que os transformers poderiam se beneficiar de estratégias de escalonamento temporal apropriadas, que ajudaram os modelos a aprender de forma mais eficaz a partir dos dados de vídeo.

#Experimentos Cruzados de Conjuntos de Dados

Durante nossos experimentos cruzados de conjuntos de dados, descobrimos que as melhorias de desempenho vistas nos testes intra-conjunto também se refletiram em diferentes conjuntos de dados. Essa robustez indica que nossas diretrizes para adaptar GVTs para RPM podem ser aplicadas em várias situações, aumentando a generalização do modelo.

Descobrimos que usar DiffNorm continuou a melhorar os esforços de aprendizado de transferência. Também destacamos a importância de entender como as escolhas de normalização e codificação posicional impactam a eficácia geral em diferentes conjuntos de dados.

#Conclusão

Nosso estudo explorou com sucesso como adaptar os General Video Transformers para medição fisiológica remota. Ao estabelecer diretrizes práticas, demonstramos que é possível melhorar o desempenho de RPM sem recorrer a modificações específicas, maximizando assim as forças inerentes da arquitetura dos transformers.

Por meio de uma variedade de experimentos em múltiplos conjuntos de dados, encontramos insights chave sobre preparação de dados e configuração de rede que podem ajudar projetos futuros na área. Acreditamos que essas descobertas contribuirão para avançar as capacidades do monitoramento de saúde remota e melhorar os resultados dos pacientes a longo prazo.

#Trabalho Futuro

Embora nosso estudo tenha iluminado vários aspectos importantes da adaptação de transformers para RPM, reconhecemos que ainda há áreas para melhoria. Pesquisas futuras precisarão abordar os efeitos de vários fatores dos pacientes, como tom de pele, no desempenho do modelo. Além disso, planejamos investigar o uso de modelos de transformer maiores para ver se nossas diretrizes são escaláveis para arquiteturas mais complexas.

Por fim, nosso objetivo é automatizar a seleção de configurações ideais através de uma exploração sistemática, potencialmente agilizando a abordagem para projetos futuros nesse domínio.