Avaliando a Qualidade da Ação em Vídeos Gerados por IA

Avaliar como as ações são realizadas em vídeos criados por inteligência artificial (IA) é importante, mas também desafiador. Isso é especialmente verdade para vídeos gerados por IA (AIGVs), onde as ações podem ser confusas ou pouco claras. Os métodos atuais usados para avaliar a qualidade das ações vêm principalmente de exemplos da vida real e são treinados em características específicas das ações, tornando-os inadequados para conteúdo gerado por IA.

Para enfrentar esse problema, criamos um novo conjunto de dados chamado GAIA. Esse conjunto contém um grande número de avaliações de pessoas reais, permitindo uma melhor compreensão de como as ações são representadas em vídeos criados por IA. Coletamos cerca de 971.244 avaliações de 9.180 pares de vídeo e ação, o que ajudará a avaliar e melhorar vários modelos de geração de vídeos.

#Importância da Avaliação da Qualidade das Ações

A avaliação da qualidade das ações (AQA) é sobre descobrir o quão bem uma ação é apresentada em um vídeo. Esse campo está se tornando cada vez mais importante, especialmente com o aumento de ferramentas de IA avançadas que podem criar vídeos muito realistas. No entanto, avaliar a qualidade das ações nesses vídeos é difícil devido às diferenças entre filmagens da vida real e conteúdo gerado. Uma ação bem executada deve incluir todos os objetos relevantes, ter um movimento reconhecível e seguir as leis da física.

O crescimento rápido dos modelos de Texto-para-vídeo (T2V) trouxe desafios significativos na avaliação da qualidade das ações em vídeos. Portanto, há uma necessidade crescente de métodos confiáveis para lidar com essas questões.

#Lacunas na Pesquisa Atual

Apesar dos avanços em AQA, existem lacunas notáveis. A maioria dos conjuntos de dados existentes foca em ações específicas vistas em vídeos reais e depende de opiniões de especialistas sobre aspectos limitados. As diferenças no conteúdo desses vídeos geralmente são mínimas, envolvendo ações semelhantes realizadas em ambientes controlados, como natação ou ginástica, sem levar em conta diferentes cenários.

Além disso, os métodos atuais de AQA analisam principalmente as ações com base em pose ou características visuais, frequentemente usando redes robustas de backbone 3D que foram pré-treinadas em grandes conjuntos de dados de reconhecimento de ações. Essa abordagem pode não funcionar bem com vídeos gerados por IA, que podem incluir ações incomuns ou objetos estranhos, como partes extra do corpo ou formas estranhas.

Como resultado, modelos treinados em vídeos reais podem ter dificuldade em avaliar ações em conteúdos gerados por IA com precisão. Permanece incerto quão efetivamente qualquer modelo T2V pode gerar ações coerentes entre diferentes categorias ou como isso impacta a percepção humana das ações.

#O Conjunto de Dados GAIA

Para enfrentar esses problemas, desenvolvemos o conjunto de dados GAIA. Ele consiste em 9.180 vídeos gerados por IA produzidos por 18 modelos diferentes de T2V. Coletamos esses dados por meio de avaliações humanas em larga escala que se concentram em vários fatores-chave: a qualidade do sujeito que realiza a ação, quão completa a ação é e como a ação interage com o ambiente ao redor.

Esse conjunto de dados nos permite estimar a qualidade da ação por meio do comportamento de observadores humanos e fornece uma estrutura prática para avaliar conteúdo gerado por IA. Ele se baseia na necessidade de uma abordagem mais abrangente para AQA que considere várias perspectivas além de cenários únicos.

#Metodologia para Coleta de Dados

#Sourcing de Ações

Para manter um alto nível de qualidade e variedade no conjunto de dados, coletamos prompts de ação de várias fontes. Isso inclui conjuntos de dados amplamente utilizados, como Kinetics-400 para ações de corpo inteiro, e conjuntos de dados especializados focados em ações de mãos e rostos. Garantimos que os prompts sejam claros e não incluam redação tendenciosa.

#Seleção e Avaliação de Participantes

Coletamos um total de 54 participantes para avaliar a qualidade das ações dos vídeos no conjunto de dados GAIA. Esses participantes passaram por treinamento para obter uma compreensão consistente dos critérios de avaliação. Durante a avaliação, eles classificaram os vídeos com base em três dimensões: qualidade do sujeito, completude da ação e interação cena-ação.

#Controle de Qualidade

Para garantir avaliações confiáveis, implementamos medidas rígidas de controle de qualidade. Monitoramos a consistência nas avaliações dos participantes e excluímos dados de participantes que mostraram altos níveis de concordância entre si sem variação suficiente. Isso nos ajudou a manter padrões objetivos na avaliação dos vídeos.

#Insights do GAIA

Os resultados obtidos do conjunto de dados GAIA revelam várias descobertas importantes sobre o estado da qualidade de ação gerada por IA.

#Observações Gerais

Os vídeos gerados tendem a receber classificações mais baixas no geral em relação aos três critérios de avaliação. Isso indica que os modelos T2V atuais frequentemente têm dificuldade em produzir ações claras e consistentes.

#Comparação Entre Modelos

Quando comparamos diferentes modelos, aqueles de aplicações comerciais geralmente tiveram um desempenho melhor do que os de estudos de laboratório. Isso sugere que os avanços recentes em modelos comerciais podem oferecer melhorias em relação a abordagens anteriores baseadas em laboratório.

Uma resolução mais alta e uma taxa de quadros também parecem impactar positivamente a qualidade percebida das ações geradas, levando a sujeitos mais reconhecíveis e sequências de ações mais coerentes.

#Diferenças nas Categorias de Ação

Nossa análise também indicou que a complexidade das ações afeta significativamente as classificações de qualidade. Ações que envolvem movimentos repentinos ou interações complexas, como pular ou jogar, receberam pontuações mais baixas em comparação com ações mais simples, como andar ou gestos estacionários.

#Avaliando Métodos de AQA Atuais

Dada a importância de desenvolver métodos confiáveis de AQA, realizamos uma avaliação completa das técnicas existentes.

#Avaliando Abordagens Tradicionais de AQA

Testamos várias abordagens tradicionais de AQA em relação ao conjunto de dados GAIA. O desempenho dessas métodos foi geralmente ruim, indicando a necessidade de melhorias significativas. Por exemplo, algumas abordagens que se concentram em categorias específicas de ações ficam aquém quando confrontadas com a ampla gama de ações presentes em conteúdo gerado por IA.

#Avaliando Métricas Relacionadas a Ações

Também analisamos várias métricas relacionadas à qualidade da ação, retiradas de benchmarks recentes de T2V. Esses métodos produziram baixos índices de correlação em comparação com avaliações humanas, confirmando ainda mais a inadequação das métricas atuais para avaliar ações geradas por IA.

#Métodos de Avaliação da Qualidade do Vídeo

Como a qualidade da ação muitas vezes está relacionada à qualidade geral de um vídeo, também investigamos métodos de avaliação da qualidade do vídeo (VQA) para ver se poderiam fornecer insights na Avaliação da Qualidade da Ação.

#Descobertas da VQA

Métodos de VQA tendem a ser mais eficazes na avaliação da dimensão da qualidade do sujeito em comparação com a avaliação da completude da ação ou interação cena-ação. Isso sugere que, embora o VQA possa oferecer alguns insights, pode não capturar totalmente as complexidades da avaliação de ações em conteúdo gerado por IA.

#Importância da Qualidade da Ação em AIGVs

A qualidade da ação desempenha um papel crucial na experiência geral do espectador de vídeos gerados por IA. Estudando mais a fundo como os humanos percebem essas ações, esperamos desenvolver melhores métodos de avaliação que reflitam avaliações da vida real sobre a qualidade da ação.

#Limitações e Trabalhos Futuros

Embora o conjunto de dados GAIA represente um avanço significativo no campo, não está isento de limitações. Os vídeos incluídos são um tanto limitados em termos de tipos e estilos de ação, o que pode restringir sua aplicabilidade a cenários do mundo real mais complexos. Além disso, o conjunto de dados foca principalmente em ações mais simples, em vez de movimentos mais intrincados.

O potencial para trabalhos futuros reside na expansão do conjunto de dados com ações mais variadas, aprimorando os modelos usados para geração e refinando os métodos de avaliação para torná-los mais alinhados com a percepção humana.

#Conclusão

O desenvolvimento do conjunto de dados GAIA marca um passo importante adiante na compreensão e avaliação da qualidade da ação em vídeos gerados por IA. Ao focar em uma abordagem de avaliação abrangente, buscamos preencher a lacuna entre os métodos existentes e a natureza complexa do conteúdo gerado por IA. Essa pesquisa em andamento promete avançar nossa capacidade de avaliar e melhorar a qualidade das ações em vídeos criados por inteligência artificial.

A necessidade de métodos confiáveis de AQA continua a crescer à medida que a tecnologia avança, tornando essencial que pesquisadores e profissionais colaborem para alcançar melhores resultados na geração de vídeos. Os resultados do GAIA fornecem insights valiosos sobre o estado atual da qualidade das ações e destacam áreas para exploração futura. Através de esforços contínuos, podemos contribuir para o desenvolvimento de melhores técnicas de avaliação e melhorar a qualidade dos vídeos gerados por IA, aprimorando, no final das contas, a experiência do espectador.