Adaptando Modelos de Vídeo para Informações Faltantes

Entender vídeos que têm diferentes tipos de informação ou modalidades é muito importante, especialmente em vídeos gravados do ponto de vista de uma pessoa, que muitas vezes são chamados de vídeos egocêntricos. Esses vídeos podem incluir elementos visuais, como o que a pessoa vê, e elementos de áudio, como o que ela ouve. Quando esses diferentes tipos de informação são combinados, tarefas como reconhecer ações dentro do vídeo ou localizar momentos específicos ficam muito mais fáceis.

Porém, na vida real, pode rolar situações em que algumas dessas informações importantes estão faltando. Isso pode acontecer por várias razões, como preocupações com privacidade, a necessidade de eficiência ou problemas com o equipamento. Por exemplo, quando alguém grava um vídeo usando uma câmera vestível, partes do vídeo podem ser removidas para proteger a privacidade, ou apenas o áudio pode ser usado em vez do vídeo.

Os métodos atuais para lidar com essa informação que falta costumam exigir que o modelo-basicamente a estrutura que processa o vídeo-seja completamente re-treinado toda vez que isso acontece. Esse re-treinamento pode ser muito caro em termos de computação, especialmente se houver muitos vídeos envolvidos.

Neste trabalho, apresentamos uma nova maneira de lidar com esse problema sem precisar re-treinar o modelo. Em vez disso, ajustamos o modelo no momento em que o testamos, permitindo que ele se adapte a qualquer informação disponível naquele momento.

#Adaptação no Tempo do Teste

A ideia principal é trabalhar no problema no tempo do teste, que é quando realmente queremos usar o modelo. Tratamos esse problema como uma tarefa de adaptação no tempo do teste, permitindo que o modelo mude com base na informação que recebe durante o teste.

Nossa abordagem, chamada MiDl, incentiva o modelo a depender menos de qualquer tipo de informação que possa estar disponível durante o teste. Fazemos isso minimizando a Informação Mútua-basicamente mantendo a previsão menos atrelada à fonte de informação específica disponível naquele momento. Também usamos auto-destilação, que ajuda a manter o desempenho do modelo quando todos os tipos de informação estão disponíveis.

Com o MiDl, conseguimos melhorar o funcionamento do modelo sob essas condições sem precisar re-treiná-lo primeiro. Essa é a primeira solução auto-supervisionada projetada exclusivamente para lidar com informações faltantes no tempo do teste.

#O Desafio das Modalidades Faltantes

O desafio de usar vídeos com múltiplos tipos de informação se tornou uma área de foco importante recentemente. Isso é especialmente verdadeiro em domínios como reconhecimento de emoções e análise de vídeos para tarefas relacionadas a entender ações e momentos. Os pesquisadores estão cada vez mais tentando projetar modelos que possam lidar efetivamente com diferentes tipos de dados.

No entanto, muitos modelos existentes esperam ter informações completas quando são testados, o que não reflete situações da vida real onde os dados podem estar incompletos. Por exemplo, se uma pessoa usa um dispositivo vestível para gravar suas atividades, partes daquela gravação podem ser cortadas por razões de privacidade, ou apenas certos tipos de dados podem estar disponíveis devido a limitações no dispositivo.

Quando os modelos são construídos com essa suposição, eles frequentemente lutam e têm um desempenho ruim se encontrarem situações com informações faltantes. Na verdade, às vezes eles podem se sair pior do que modelos mais simples que só dependem de um tipo de informação.

Muitos pesquisadores tentaram recentemente abordar o problema da informação faltante. Alguns olharam para mudar a estrutura dos modelos para combinar melhor informações de diferentes fontes. Outros trabalharam na criação de regularizadores que podem ajudar a melhorar o desempenho do modelo quando alguma informação está faltando.

Mais recentemente, modelos de transformadores foram aprimorados com tokens que podem aprender durante o treinamento. Esses tokens podem ajudar a compensar a informação faltante durante os testes, levando a um desempenho melhor.

Apesar desses avanços, um problema comum permanece: a maioria dos métodos existentes requer re-treinamento caro do modelo, tornando-os impraticáveis para muitas aplicações com grandes conjuntos de dados de treinamento.

Isso nos leva a uma pergunta importante: Podemos criar métodos para lidar com informações faltantes durante os testes sem precisar re-treinar os modelos?

#Estrutura de Adaptação no Tempo do Teste

A adaptação no tempo do teste no contexto de informações faltantes envolve lidar com um fluxo de dados que pode não incluir todas as modalidades necessárias. Sem adaptação, o modelo pode processar a informação, mas falhar em prever com precisão devido à falta de dados.

Quando nos adaptamos no tempo do teste, o modelo pode ajustar dinamicamente com base nos novos dados que estão chegando. Isso permite que ele tenha um desempenho melhor mesmo quando confrontado com modalidades incompletas. Nossa pesquisa visa redefinir o problema da informação faltante como um desafio de adaptação no tempo do teste.

Na nossa abordagem, o modelo recebe a informação peça por peça, onde cada peça pode carecer de certos tipos de dados. O objetivo é criar um método de adaptação que possa refinar as previsões do modelo em tempo real à medida que encontra dados sem todas as informações necessárias.

Enquanto explorávamos os métodos atuais usados para adaptação no tempo do teste, observamos suas limitações, especialmente em lidar com o problema de modalidade faltante. Então introduzimos uma nova abordagem focando em encorajar o modelo a depender menos da fonte exata de informação disponível durante o teste.

Para conseguir isso, minimizamos a informação mútua entre as previsões do modelo e os tipos de informação sendo usados. Assim, o modelo se torna mais robusto a qualquer dado que recebe durante o teste. Além disso, a auto-destilação é incluída para ajudar a manter o desempenho original quando toda a informação está disponível.

#MiDl: Nossa Solução Proposta

No tempo do teste, o MiDl utiliza três cópias do modelo para fazer previsões com base nos dados apresentados. Ele também tem uma passagem para frente para cada combinação de informação disponível. O processo incentiva as previsões do modelo adaptado a se alinhar de perto com as previsões do modelo original.

O aspecto da informação mútua do MiDl ajuda a reduzir a dependência de qualquer tipo único de informação, criando previsões que são mais gerais e robustas. O modelo é atualizado em estágios, equilibrando os ajustes para a informação mútua e a auto-destilação.

O MiDl é distinto porque é totalmente auto-supervisionado, o que significa que ele se baseia nos dados não rotulados que recebe no tempo do teste para se adaptar. A adaptação ocorre de maneira online, o que significa que ajustes são feitos à medida que novas amostras são reveladas, com o modelo fazendo previsões antes de receber o próximo pedaço de dados.

Para resumir nossas contribuições:

1. Redefinimos o problema da informação faltante como um desafio de adaptação no tempo do teste.
2. Avaliamos quão eficazes os métodos existentes são nesse contexto.
3. Propomos o MiDl, que é projetado para lidar com o problema da informação faltante de maneira eficaz. O MiDl incentiva o modelo a manter previsões consistentes com base nos tipos de dados disponíveis no tempo do teste.

#Avaliação de Desempenho

Realizamos experimentos para avaliar quão bem o MiDl se sai em várias condições onde a informação está faltando. Para isso, usamos uma variedade de modelos pré-treinados e conjuntos de dados. Nos nossos resultados, o MiDl mostrou uma melhoria significativa no desempenho sem a necessidade de re-treinamento.

#Conjuntos de Dados Usados

Para nossos experimentos, contamos com dois grandes conjuntos de dados: Epic-Kitchens e Epic-Sounds. O Epic-Kitchens consiste em cerca de 100 horas de gravações em vídeo de indivíduos interagindo com seu ambiente, especificamente enquanto cozinham. Cada instância é rotulada com um substantivo e um verbo indicando a ação que está sendo realizada.

O Epic-Sounds fornece anotações baseadas em áudio para as mesmas filmagens, permitindo que avaliemos a eficácia dos modelos em reconhecer ações com base no som.

#Taxas de Modalidade Faltante

Nos nossos testes, apresentamos o modelo pré-treinado com fluxos de dados de validação não rotulados enquanto intencionalmente deixávamos um tipo de informação de fora. Definimos taxas específicas nas quais certas modalidades estavam faltando para ver quão bem o modelo poderia se adaptar.

Determinamos as taxas de ausência controlando com que frequência apenas um tipo de informação estava disponível no fluxo. Por exemplo, deixamos de lado o som ou o vídeo em várias taxas para observar quão efetivamente os modelos ainda conseguiam fazer previsões nessas situações.

#Resultados

Ao comparar o nosso MiDl proposto com outros métodos existentes, observamos que ele melhorou consistentemente o desempenho dos modelos pré-treinados em circunstâncias onde as modalidades estavam faltando. Em particular, melhorou a precisão dos modelos mesmo em cenários com altas taxas de ausência, proporcionando ganhos significativos em comparação com o treinamento unimodal.

No conjunto de dados Epic-Kitchens, o MiDl alcançou melhorias notáveis na precisão em várias taxas de ausência, demonstrando sua eficácia. Da mesma forma, para o conjunto de dados Epic-Sounds, também melhorou significativamente o desempenho.

Importante, esses resultados vieram sem a necessidade de re-treinamento do modelo, mostrando como o MiDl permite uma adaptação eficaz no tempo do teste.

#Adaptação a Longo Prazo

Também investigamos como o MiDl se comporta ao lidar com um longo fluxo de dados. A suposição aqui é que o modelo encontra um fluxo contínuo de informação ao longo do tempo. Isso permite que nosso MiDl se adapte por períodos mais longos, permitindo que refine ainda mais seu desempenho.

Quando o modelo é exposto a longos fluxos de dados com modalidades completas e incompletas, notamos que a capacidade do MiDl de melhorar o desempenho aumenta. Por exemplo, em condições onde a taxa de ausência era muito alta, o MiDl conseguiu obter melhores resultados à medida que se adaptava às informações que recebeu ao longo do tempo.

Isso destaca o benefício do MiDl em aplicações do mundo real onde o fluxo contínuo de dados é comum. Quanto mais tempo o modelo tiver acesso a dados não rotulados com informações completas, melhor ele se sai em lidar com modalidades faltantes.

#Adaptação Fora do Domínio

Também examinamos como o MiDl se adapta quando recebe dados não rotulados de uma fonte diferente antes da implantação. Por exemplo, usamos o Ego4D, que contém vídeos egocêntricos de várias situações que diferem do conjunto de dados principal.

Mesmo que os vídeos do Ego4D venham de contextos diferentes, descobrimos que adaptar o MiDl nesse conjunto de dados diferente pode melhorar sua capacidade de lidar com modalidades faltantes quando avaliado nos conjuntos de dados principais. A versatilidade do MiDl brilha, pois demonstra ganhos de desempenho consistentes, mesmo quando exposto a variações na distribuição de dados.

#Conclusão

Este trabalho apresenta o MiDl, um novo método projetado para abordar os desafios das modalidades faltantes em tarefas de reconhecimento de vídeo no tempo do teste. Ao incentivar o modelo a se tornar menos dependente de fontes de informação específicas e usando estratégias de adaptação eficazes, o MiDl melhora significativamente o desempenho dos modelos pré-treinados em vários cenários.

Nossos extensos experimentos destacam os benefícios práticos do MiDl em diferentes conjuntos de dados, demonstrando sua robustez em aplicações do mundo real. À medida que a tecnologia avança, métodos como o MiDl serão essenciais para desenvolver sistemas capazes de desempenho confiável, mesmo quando confrontados com informações incompletas.

Por meio do MiDl, buscamos abrir caminho para soluções mais eficazes e práticas no campo do reconhecimento de vídeo e além, solidificando seu papel em enfrentar o desafio sempre presente das modalidades faltantes.