Aprimorando a Medição da Frequência Cardíaca a partir de Vídeos Comprimidos
Novo método melhora a precisão da medição da frequência cardíaca em vídeos comprimidos.
― 7 min ler
Índice
Desenvolvimentos recentes em medir batimentos cardíacos a partir de vídeos usando câmeras resultaram em maior precisão, mas ainda existem desafios. Um grande problema é a Compressão de Vídeos. Quando os vídeos são muito compactados, recuperar os sinais de batimento cardíaco se torna bem difícil. Embora pesquisas tenham analisado esses problemas, as soluções ainda são limitadas. Este artigo apresenta um novo método para melhorar a medição de batimentos cardíacos a partir de vídeos Comprimidos, adaptando os vídeos para recuperar melhor os sinais de batimento cardíaco.
Contexto
Medir sinais vitais, como batimentos cardíacos, por meio de vídeo tá ganhando atenção. Essas medições podem dar uma ideia do estado físico e mental de uma pessoa. Essa tecnologia tem potencial em várias áreas, como educação, saúde e entretenimento. Com o aumento dos smartphones e dispositivos multimídia, compartilhar e acessar conteúdo em vídeo ficou fácil. Porém, pra transmitir grandes quantidades de dados de vídeo de forma eficiente, técnicas de compressão são necessárias.
Apesar dos avanços significativos na medição de batimentos cardíacos à distância, aplicar essas técnicas em vídeos comprimidos ainda é desafiador. Estudos mostraram que até uma leve compressão de vídeo pode afetar significativamente a qualidade do sinal de batimento cardíaco, tornando mais difícil recuperar batimentos precisos. Muitos pesquisadores focaram em como a compressão de vídeo impacta a extração dos sinais cardíacos, mas poucas soluções eficazes surgiram.
Compressão de Vídeo e Seus Efeitos
A compressão de vídeo torna possível armazenar e compartilhar vídeos com mais facilidade, reduzindo o tamanho dos arquivos. No entanto, essa compressão também pode remover detalhes sutis que são cruciais para extrair os sinais de batimento cardíaco. Pesquisas mostraram que níveis baixos de compressão já podem prejudicar o sinal de batimento cardíaco. A compressão pode afetar vários aspectos, como a resolução do vídeo e a qualidade de diferentes canais de cor. Cada um desses fatores impacta o quão bem os sinais de batimento cardíaco podem ser recuperados do vídeo.
A maioria dos conjuntos de dados de batimentos cardíacos existentes já está comprimida, e embora alguns conjuntos de dados não comprimidos existam, eles geralmente têm limitações, como um número pequeno de amostras disponíveis. Os efeitos da compressão podem ser agrupados em três categorias principais: mudar as condições de gravação, combinar as taxas de compressão dos dados de treinamento com os dados de teste e tentar consertar qualquer dano causado pela compressão. Enquanto alguns métodos se concentram em ajustar como os vídeos são gravados, outros tentam desfazer os danos causados pela compressão.
Desafios de Medir Batimentos Cardíacos a partir de Vídeos Comprimidos
Medir batimentos cardíacos a partir de vídeos que foram comprimidos traz vários desafios. Muitos estudos iniciais não consideraram como a compressão de vídeo poderia impactar esse tipo de medição. Alguns estudos mais recentes esclareceram como fatores como a resolução do vídeo e os métodos de compressão usados podem influenciar a recuperação do sinal de batimento cardíaco.
As técnicas existentes para recuperar sinais de batimento cardíaco de vídeos comprimidos ou propõem um pré-processamento substancial ou dependem de modelos sofisticados que precisam de bastante poder computacional para restaurar características de Alta qualidade perdidas devido à compressão. Contudo, focar apenas no aumento da qualidade visual não é necessário para recuperar sinais de batimento cardíaco. Ao invés disso, adaptar o vídeo para enfatizar o sinal do pulso pode levar a resultados melhores.
Método Proposto
O método que apresentamos se baseia em um modelo de Aprendizado Profundo projetado para contrabalançar os efeitos negativos da compressão de vídeo na recuperação de batimentos cardíacos. Ele foca no uso de duas redes em um processo de treinamento em duas etapas. A primeira rede estima o sinal de batimento cardíaco de vídeos não comprimidos, enquanto a segunda rede transforma vídeos comprimidos para destacar as informações do pulso necessárias para uma extração precisa dos batimentos cardíacos.
Ao treinar primeiro com dados de alta qualidade, garantimos que nosso estimador de batimentos cardíacos consiga capturar efetivamente o sinal do pulso. A segunda etapa utiliza esse modelo treinado para guiar como os vídeos comprimidos são adaptados, permitindo que o estimador de batimentos cardíacos funcione de forma mais eficaz, mesmo com entradas de baixa qualidade.
Implementando o Método
Nosso método foi testado em vários conjuntos de dados existentes que incluem vídeos de alta qualidade e fortemente comprimidos. Dois conjuntos de dados não comprimidos foram usados - ambos eram diversos, incluindo uma ampla gama de sujeitos e condições. Também validamos nosso modelo em dois conjuntos de dados públicos conhecidos por sua forte compressão, avaliando quão bem nossa abordagem poderia se adaptar e entregar medições de batimentos cardíacos precisas, apesar da queda de qualidade devido à compressão.
Em nossos experimentos, aplicamos vários níveis de compressão aos conjuntos de dados para entender como afetavam a recuperação dos batimentos cardíacos. Selecionamos cuidadosamente nossas métricas de avaliação para garantir que pudéssemos medir com precisão o desempenho do nosso modelo em comparação com os métodos existentes.
Avaliação dos Resultados
Nossos resultados mostraram que nossa estrutura proposta em duas etapas é eficaz em medir batimentos cardíacos em vídeos comprimidos. Em testes com conjuntos de dados não comprimidos, conseguimos erros bem baixos na estimativa de batimentos cardíacos, confirmando que nossa estrutura mantém alta precisão.
Quando avaliamos em relação aos conjuntos de dados altamente comprimidos, nossa abordagem ainda se saiu impressionante. Embora os erros tenham aumentado devido à compressão, a capacidade do nosso modelo de se ajustar a essa perda de qualidade nos permitiu recuperar os sinais de batimento cardíaco de forma mais confiável do que muitos métodos existentes.
Comparamos nossos resultados com outras técnicas populares, enfatizando que nosso modelo não só funciona bem com vídeos de alta qualidade, mas também mantém eficácia em cenários de compressão. A estrutura em duas etapas melhorou significativamente o processo de estimativa de batimentos cardíacos, trazendo vantagens claras em relação aos modelos tradicionais de uma única etapa.
Conclusão e Trabalho Futuro
Em resumo, apresentamos um método para melhorar a estimativa de batimentos cardíacos a partir de vídeos comprimidos usando uma abordagem de treinamento em duas etapas. A primeira etapa se concentra em treinar um estimador de batimentos cardíacos com vídeos de alta qualidade e não comprimidos, enquanto a segunda etapa adapta vídeos comprimidos para realçar as características necessárias para a recuperação dos batimentos cardíacos.
Nosso método mostra potencial em combinar técnicas de aprendizado profundo com análise de vídeo, enfrentando os desafios impostos pela compressão. No futuro, pretendemos aprimorar ainda mais nossa estrutura desenvolvendo módulos que possam se adaptar dinamicamente a diferentes níveis de compressão, melhorando o desempenho do nosso modelo em uma variedade mais ampla de cenários.
Esse trabalho destaca o potencial do aprendizado profundo em aplicações médicas e de monitoramento de saúde, abrindo caminho para soluções mais eficazes no campo da medição fisiológica remota.
Título: Deep Pulse-Signal Magnification for remote Heart Rate Estimation in Compressed Videos
Resumo: Recent advancements in data-driven approaches for remote photoplethysmography (rPPG) have significantly improved the accuracy of remote heart rate estimation. However, the performance of such approaches worsens considerably under video compression, which is nevertheless necessary to store and transmit video data efficiently. In this paper, we present a novel approach to address the impact of video compression on rPPG estimation, which leverages a pulse-signal magnification transformation to adapt compressed videos to an uncompressed data domain in which the rPPG signal is magnified. We validate the effectiveness of our model by exhaustive evaluations on two publicly available datasets, UCLA-rPPG and UBFC-rPPG, employing both intra- and cross-database performance at several compression rates. Additionally, we assess the robustness of our approach on two additional highly compressed and widely-used datasets, MAHNOB-HCI and COHFACE, which reveal outstanding heart rate estimation results.
Autores: Joaquim Comas, Adria Ruiz, Federico Sukno
Última atualização: 2024-06-25 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2405.02652
Fonte PDF: https://arxiv.org/pdf/2405.02652
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.