Avanços no Reconhecimento de Ação em Conjuntos Abertos

Nos últimos anos, reconhecer ações humanas em vídeos virou um bom tema de pesquisa. Métodos tradicionais geralmente assumem que todas as ações no conjunto de teste estão no conjunto de treino. Mas essa suposição não funciona no mundo real, onde ações desconhecidas podem aparecer. Aí que entra o reconhecimento de ação em conjunto aberto (OSAR). O OSAR tem como objetivo identificar ações conhecidas enquanto rejeita aquelas desconhecidas que não foram vistas durante o treino.

#A Importância da Representação de Recursos

A maioria das abordagens existentes foca em calcular pontuações de incerteza, que indicam o nível de confiança do modelo nas suas previsões. Embora essas pontuações sejam importantes, elas deixam de lado um aspecto crítico: a representação dos recursos derivados das ações. Os recursos precisam ser ricos em diversidade semântica para melhorar a performance no reconhecimento de ações, especialmente quando ações desconhecidas estão presentes.

#Analisando as Representações de Recursos

Para melhorar o OSAR, precisamos analisar como os recursos se comportam no processo. Especificamente, podemos categorizar as informações dos recursos em dois tipos: informação específica da instância (IS) e informação específica da classe (CS). A informação IS ajuda a distinguir entre exemplos na mesma classe, enquanto a informação CS é vital para identificar classes. Ambos os tipos de informação são cruciais para um desempenho efetivo em cenários de conjunto aberto.

#Quadro de Aprendizado de Similaridade Prototípica

Para lidar melhor com as informações IS e CS, desenvolvemos um novo quadro chamado Aprendizado de Similaridade Prototípica (PSL). A ideia por trás do PSL é manter a variância entre os recursos das instâncias na mesma classe, para preservar as características únicas de cada instância. Essa abordagem ajuda a reter a informação IS de forma eficaz.

Além disso, é comum que ações desconhecidas se pareçam com ações conhecidas na aparência. Para resolver isso, nosso quadro PSL incorpora uma técnica chamada embaralhamento de vídeos. Essa técnica ajuda o modelo a aprender as diferenças nas informações temporais entre vídeos originais e embaralhados, fortalecendo assim a informação CS na representação dos recursos.

#Experimentações e Resultados

Para validar o quadro PSL, fizemos experimentos extensivos em vários conjuntos de dados. Os resultados mostraram uma melhoria notável tanto na performance de conjunto aberto quanto de conjunto fechado ao usar PSL em comparação com métodos tradicionais. Isso indica que enriquecer as informações IS e CS pode melhorar significativamente a capacidade do modelo de lidar com situações de conjunto aberto.

#Visão Geral dos Métodos de Reconhecimento de Ação

Avanços recentes em métodos de reconhecimento de ação combinam pistas de aparição e movimento para resultados melhores. Abordagens comuns, como redes de dois fluxos, utilizam informações espaciais e dinâmicas temporais. Outras técnicas também usam redes convolucionais 3D para modelar ambos os aspectos.

Apesar desses avanços, muitos métodos existentes ainda são principalmente ajustados para condições de conjunto fechado. Isso representa um desafio ao aplicar esses métodos em situações do mundo real onde ações desconhecidas podem aparecer.

#Técnicas de Reconhecimento de Ação em Conjunto Aberto

Tem havido um foco crescente no OSAR, com vários métodos projetados especificamente para identificar ações desconhecidas. Muitos desses métodos adaptam técnicas de reconhecimento de imagem em conjunto aberto para o domínio do vídeo. No entanto, a maioria dessas técnicas foca principalmente em refinar pontuações de incerteza, em vez de melhorar as representações dos recursos.

Nossa abordagem, através do PSL, se destaca porque se compromete a enriquecer a representação dos recursos, visando uma melhor diferenciabilidade entre ações conhecidas e desconhecidas.

#O Papel da Teoria do Gargalo de Informação

Para justificar melhor nossa abordagem, aplicamos a teoria do gargalo de informação (IB) para entender o comportamento dos recursos durante as tarefas de OSAR. Segundo essa teoria, os modelos tendem a aprender a quantidade mínima necessária de informação para a tarefa específica. No caso do reconhecimento de ação, isso pode levar à perda de informações IS valiosas, que são vitais para identificar ações desconhecidas.

Ao focar nas informações IS e CS, nosso quadro PSL pretende maximizar a informação relevante capturada nas representações dos recursos, garantindo que o modelo esteja bem preparado para lidar com o reconhecimento de ação em conjunto aberto.

#Melhorando as Informações IS e CS

O quadro PSL busca alcançar dois objetivos: reter a informação IS e aumentar a informação CS. Ao projetar cuidadosamente a função de perda, incentivamos o modelo a manter um nível de dessemelhança entre instâncias da mesma classe, tornando menos provável que a informação IS seja comprimida.

Além disso, integramos o conceito de vídeos embaralhados para melhorar a informação CS. Essa técnica permite que o modelo se concentre nas distinções temporais entre vídeos originais e embaralhados, tornando-o capaz de distinguir ações que podem parecer semelhantes à primeira vista.

#Protocolos de Experimento

Para avaliar nossos métodos, usamos múltiplos conjuntos de dados, incluindo UCF101 para treino e HMDB51 e MiT-v2 para avaliação em conjunto aberto. O processo de treinamento envolveu medir tanto a precisão em conjunto fechado quanto métricas em conjunto aberto, como a área sob a curva de características operacionais do receptor (AUROC) e a área sob a curva de precisão-recall (AUPR).

#Comparação de Performance

Os resultados em vários métodos demonstraram que nossa abordagem PSL supera significativamente os métodos existentes de ponta tanto em cenários de conjunto fechado quanto aberto. Notavelmente, a incorporação de vídeos embaralhados contribuiu para um aprendizado de recursos mais rico e métricas de desempenho melhoradas.

Percebemos que modelos que usaram informação semântica mais rica durante o treinamento se saíram melhor nas avaliações de conjunto aberto em comparação com aqueles que não usaram. Isso reforça a ideia de que uma gama diversificada de representações de recursos é vital para um reconhecimento de ação eficaz.

#Entendendo as Representações de Recursos

Para entender melhor o desempenho do nosso quadro PSL, usamos decomposição de valor singular para analisar as representações de recursos aprendidas. A análise mostrou que os modelos PSL retiveram mais informações em diferentes dimensões em comparação com abordagens tradicionais, levando a um desempenho melhor.

#Análise de Incerteza In-D e OoD

Examinamos ainda as distribuições de incerteza entre amostras dentro da distribuição (InD) e fora da distribuição (OoD). Nossos achados sugeriram que, enquanto outros métodos frequentemente atribuem baixa incerteza a amostras InD e OoD, nossa abordagem PSL manteve uma distinção mais clara. Isso permite que o modelo atribua maior incerteza a amostras desconhecidas durante o treinamento.

#Conclusão

Resumindo, o reconhecimento de ação em conjunto aberto é uma área essencial de estudo, especialmente porque situações do mundo real apresentam desafios não cobertos por abordagens tradicionais. Nosso quadro PSL destaca a importância de representações ricas de recursos, visando melhorar as informações IS e CS.

Através de experimentação extensiva, demonstramos que focar na preservação das informações dentro dos recursos melhora significativamente a performance em cenários de conjunto aberto e fechado. Ao adotar essas percepções, pesquisas futuras podem continuar a avançar o campo do reconhecimento de ação, fazendo progresso em direção a modelos mais confiáveis e adaptáveis que conseguem lidar com uma gama mais ampla de situações do mundo real.