Méthode innovante pour la compréhension vidéo avec représentation textuelle

Les récentes avancées dans la compréhension des images ont énormément bénéficié de l'utilisation de grandes quantités de paires image-texte trouvées en ligne. La compréhension des vidéos, en revanche, reste assez difficile, même s'il y a pas mal de données vidéo-texte disponibles sur le web. Ce défi vient principalement de la complexité unique des vidéos et de la qualité limitée du support linguistique dans les datasets actuels.

Dans cet article, on présente une nouvelle méthode appelée Pré-Ajustement Textuel (TOPA). Cette approche permet aux grands modèles de langage (LLMs) de mieux comprendre les vidéos sans avoir besoin de s'entraîner sur de vraies données vidéo. On commence par utiliser un LLM avancé pour créer ce qu'on appelle des Vidéos Textuelles, qui consistent en une série de cadres textuels qui simulent de vraies vidéos, avec des Annotations. Ces vidéos simulées sont ensuite utilisées pour préparer un LLM uniquement textuel à interagir avec le contenu vidéo.

Pour connecter les représentations textuelles avec de vraies vidéos, on utilise un modèle appelé CLIP. Ce modèle aide à aligner les caractéristiques d'image avec les caractéristiques de texte. Pendant notre processus, le LLM apprend à traiter des cadres textuels continus comme il le ferait avec de vraies images vidéo. On effectue des tests approfondis, et les résultats montrent que TOPA aligne efficacement le contenu vidéo avec les LLMs. Notamment, notre modèle TOPA-Llama2-13B atteint une précision Top-1 de 51,0 % sur un test de compréhension vidéo connu nommé Egoschema, surpassant les méthodes d'entraînement préalable vidéo-texte précédentes.

#Contexte

La croissance rapide dans la compréhension image-langage a conduit à des améliorations significatives dans l'alignement des images et du langage. Cela provient principalement de l'entraînement préalable sur un dataset à grande échelle de paires image-texte bruyantes provenant d'Internet. Cela amène à se demander si on peut reproduire ce succès pour la compréhension vidéo-langage.

Des recherches ont été menées sur l'entraînement préalable de modèles vidéo-langage utilisant des millions de paires vidéo-texte du web. Des progrès ont été réalisés dans des tâches vidéo simples comme la récupération de paires vidéo-texte, la création de sous-titres vidéo et la réponse à des questions sur des vidéos. Malgré cela, des études récentes ont montré que ces modèles ont souvent du mal avec de longues vidéos où une compréhension approfondie du temps et de la séquence est essentielle.

Deux raisons principales causent cet écart de performance : la nature complexe des vidéos et les lacunes du support linguistique trouvé dans les datasets vidéo.

1. Complexité des vidéos : Les vidéos ont plusieurs dimensions de complexité, tant en termes d'espace que de temps, qui ne sont pas présentes dans des images statiques. Capturer la dynamique vidéo nécessite un entraînement approfondi sur des données plus larges. De plus, les vidéos doivent être traitées image par image, augmentant le calcul nécessaire par rapport au travail avec des images. Ainsi, créer des modèles pour comprendre comment fonctionnent les vidéos est particulièrement difficile.

2. Limitations du soutien linguistique : La plupart du soutien linguistique fourni dans les datasets vidéo-texte provient de sous-titres liés aux vidéos. Ces sous-titres décrivent généralement les cadres sans capturer les relations liées au temps qui sont essentielles pour comprendre les vidéos. Ce décalage entre la complexité des vidéos et le soutien linguistique limité rend difficile la construction de modèles vidéo-langage efficaces.

Dans cet article, on propose une nouvelle méthode pour développer des compétences de compréhension vidéo en utilisant de grands modèles de langage (LLMs) en simulant la dynamique vidéo avec des descriptions textuelles. Au lieu d'aligner directement les vidéos avec le langage, on propose une représentation vidéo textuelle - utilisant des séquences de cadres de texte pour refléter la dynamique vidéo réelle.

#Dataset Vidéo Textuelle

On présente un dataset qu'on appelle TextVid, qui est créé en utilisant un LLM puissant. TextVid se compose de deux parties :

1. Vidéos Textuelles (Tideo) : Ce sont des séquences de cadres de texte qui imitent les images clés de vraies vidéos.
2. Annotations : Elles incluent des descriptions détaillées et divers couples question-réponse (QA).

Les principaux avantages du dataset TextVid incluent son échelle et sa diversité, car il est uniquement textuel et entièrement généré par un LLM. De plus, la qualité des annotations linguistiques générées est élevée, s'alignant étroitement avec le contenu des vidéos textuelles.

#Cadre TOPA

Notre cadre TOPA proposé prépare efficacement les LLMs à travailler avec le contenu vidéo. On introduit trois tâches différentes pour le pré-ajustement : résumé, question-réponse et questions à choix multiples. Pour connecter les aspects textuels et visuels, on utilise le modèle CLIP.

Pendant la phase de pré-ajustement, le LLM apprend à gérer des sorties textuelles continues. Lorsqu'il s'agit d'entrées vidéo réelles pendant l'inférence, le LLM utilise des caractéristiques visuelles de CLIP. Ce processus aide le LLM à s'adapter aux données vidéo réelles même s'il a été entraîné sur du texte.

#Contributions

1. On introduit TOPA, une nouvelle façon d'aligner les LLMs avec la compréhension vidéo sans avoir besoin de données vidéo réelles.
2. On présente le dataset TextVid, qui comprend une collection substantielle de vidéos textuelles et des annotations de haute qualité.
3. Nos expériences montrent que TOPA performe bien sur diverses tâches de compréhension vidéo, démontrant son efficacité par rapport aux méthodes précédentes.

#Travaux Connexes

Dans l'alignement vision-langage, des modèles comme CLIP créent un espace partagé pour la vision et le langage en utilisant l'entraînement à partir de grands datasets web. Des recherches récentes explorent également comment modéliser des séquences vidéo en utilisant des LLMs, dans le but d'améliorer la compréhension vidéo-langage.

Certains projets visent à affiner les datasets multimodaux en utilisant des LLMs. D'autres ont essayé d'adapter des modèles de compréhension d'images pour des tâches vidéo. Cependant, notre approche se distingue en générant des vidéos textuelles pour le pré-ajustement des LLMs, lui permettant de traiter des caractéristiques continues pour la compréhension vidéo.

#Évaluation et Résultats

On évalue TOPA à travers divers benchmarks, y compris des tâches de question-réponse vidéo à choix multiples et de sous-titrage vidéo. Notre évaluation zero-shot sur le dataset Egoschema montre que TOPA, malgré ne pas avoir été entraîné avec de vraies vidéos, performe mieux que de nombreuses méthodes précédentes.

#Résultats Zero-shot

On obtient des résultats significatifs sur le benchmark Egoschema, montrant que TOPA peut bien fonctionner sans entraînement préalable sur de vraies vidéos. Cela indique la capacité du modèle à traiter des entrées vidéo avec succès, même si la performance peut varier selon les tâches spécifiques impliquées.

#Ajustement Fin et Performance

Quand on ajuste finement les modèles TOPA, on observe des améliorations constantes sur diverses tâches vidéo. Les résultats montrent qu'il est même sans entraînement vidéo réel, la technique de pré-ajustement peut être efficacement adaptée pour des tâches spécifiques de compréhension vidéo.

#Conclusion

Dans cet article, on a introduit TOPA, une méthode de pré-ajustement uniquement textuel pour aligner les grands modèles de langage avec la modalité vidéo. TOPA a montré une performance impressionnante sur des tâches de compréhension vidéo longue durée, indiquant que cette approche uniquement textuelle peut capturer efficacement la dynamique vidéo. Notre méthode ne simplifie pas seulement le processus de préparation des données, mais a aussi des applications potentielles plus larges dans diverses tâches vision-langage.

On pense que notre travail peut inspirer de futures recherches dans la compréhension vidéo-langage, la rendant plus accessible à un public plus large. L'objectif à long terme est de créer un modèle général capable de comprendre et d'interpréter efficacement le contenu vidéo.