Self-TPT : Un nouveau regard sur le réglage des invites

Les modèles vision-langage ont montré de super compétences pour classer des images sans nécessiter d'entraînement supplémentaire quand on leur donne des instructions textuelles appropriées. Cependant, les anciennes méthodes pour ajuster ces invites pendant les tests nécessitent généralement des réglages pour chaque image, ce qui peut être lent et difficile à mettre à l'échelle pour des applications réelles.

Pour y remédier, on présente un cadre appelé Self-TPT qui utilise l'apprentissage auto-supervisé pour rendre le réglage des invites plus rapide et plus facile. La caractéristique principale de Self-TPT est qu'il permet des ajustements de classe de manière plus efficace, éliminant le besoin de calculs lourds pour chaque image pendant les tests.

Self-TPT commence par l'entraînement sur des données de base, combinant l'apprentissage auto-supervisé avec des tâches de classification classiques. Ensuite, il utilise la tâche d'apprentissage auto-supervisé pour s'adapter aux nouvelles classes pendant les tests. On a créé une tâche spécifique appelée Contrastive Prompt Learning (CPT) qui se concentre sur le maintien des classes similaires proches tout en s'assurant que les classes différentes restent distinctes pendant l'apprentissage.

On a constaté que cette tâche contrastive se comporte de manière similaire à d'autres méthodes qui ajustent les modèles pendant l'entraînement, ce qui explique pourquoi elle fonctionne efficacement. Pour soutenir cela, on a ajouté une perte de correspondance des gradients pour améliorer encore la façon dont les tâches fonctionnent ensemble.

Self-TPT a été testé sur trois benchmarks difficiles, et les résultats montrent qu'il réduit le temps de prédiction tout en atteignant une précision de premier ordre, gérant efficacement l'équilibre entre efficacité et performance.

#Classification d'images en Ouvert

La classification d'images est un domaine clé en vision par ordinateur. Des modèles vision-langage comme CLIP ont été efficaces dans ce domaine, combinant des données d'image avec des descriptions textuelles pour les catégoriser avec précision. Cependant, créer des invites efficaces pour les classes d'entrée peut être très long.

Certaines études récentes ont exploré l'utilisation de vecteurs de texte continus comme invites, ce qui peut améliorer les résultats en générant automatiquement des invites spécifiques aux tâches. Cependant, ces méthodes peuvent ne pas couvrir toutes les classes possibles, conduisant à des performances inférieures dans des conditions ouvertes.

Il y a un intérêt croissant pour l'adaptation en temps de test (TTA), qui ajuste les modèles pour différents ensembles de données pendant les tests. Le réglage des invites en temps de test (TPT) a été introduit pour affiner les invites lorsque de nouvelles classes apparaissent, augmentant ainsi la généralisation dans les scénarios ouverts. Cependant, le TPT nécessite d'importantes ressources de calcul car il nécessite plusieurs passages à travers le modèle pour chaque échantillon de test, ce qui entraîne des délais notables et une utilisation élevée de la mémoire.

#Comparaison entre TPT et Self-TPT

Dans le TPT, le processus se compose de trois étapes principales. D'abord, les invites sont apprises à partir de données sources. Ensuite, ces invites sont adaptées pour chaque nouveau modèle de test, et enfin, les prédictions sont faites en utilisant ces invites spécifiques. L'inconvénient du TPT est qu'il nécessite une puissance de calcul substantielle pendant les tests, ce qui rend son déploiement difficile dans des environnements à ressources limitées.

D'un autre côté, Self-TPT adopte une approche plus efficace. Il se concentre uniquement sur des noms de classes prédéfinis lors de l'adaptation et permet des prédictions rapides sans avoir besoin de modifier les invites pour chaque image. Ce changement réduit considérablement la charge de calcul pendant les tests.

Pour la partie apprentissage auto-supervisé, on utilise des méthodes comme l'apprentissage contrastif pour s'assurer que le modèle apprend à classifier efficacement. L'idée est que les embeddings de la même classe doivent être proches les uns des autres, tandis que ceux de classes différentes doivent rester distincts.

Pour cela, on introduit la tâche de Contrastive Prompt Tuning (CPT). Dans le CPT, différentes configurations du token de classe sont utilisées pendant l'entraînement pour créer des paires qui aident le modèle à mieux apprendre.

#Analyse Empirique et Performance

La recherche indique que le CPT s'aligne étroitement avec les tâches de classification, ce qui aide à expliquer pourquoi il est efficace pendant l'adaptation. On a aussi ajouté la perte de correspondance des gradients (GM), qui s'assure que les gradients des tâches CPT et de classification restent similaires.

On a testé la performance de Self-TPT à travers divers benchmarks, incluant la généralisation entre ensembles de données, la généralisation de base à nouvelle, et la généralisation de domaine. Les résultats montrent que Self-TPT a systématiquement surpassé les méthodes précédentes, améliorant la précision sur tous les benchmarks clés.

De plus, Self-TPT a démontré une efficacité remarquable, atteignant des vitesses d'inférence beaucoup plus rapides et nécessitant beaucoup moins de mémoire comparé aux méthodes TPT traditionnelles. Ces résultats suggèrent que Self-TPT est une solution puissante pour déployer des modèles vision-langage dans des applications réelles.

#Travaux Connus sur les Modèles Vision-Langage

Les récents progrès en vision par ordinateur et en traitement du langage naturel ont entraîné une montée dans le développement de modèles vision-langage (VLMs). Ces modèles combinent de grands ensembles de données d'images et de paires de textes pour comprendre et traiter des informations multimodales. Bien que les VLMs comme CLIP se soient révélés très efficaces, ils font également face à des défis pour créer des invites adaptables.

Les méthodes actuelles d'apprentissage des invites conduisent souvent à un surajustement pour les classes connues, ce qui peut limiter les performances sur les nouvelles. De nombreuses stratégies ont été développées pour lutter contre cela, mais atteindre de véritables invites généralisées reste un défi. En conséquence, les chercheurs ont déplacé leur attention vers des stratégies d'adaptation en temps de test qui ajustent dynamiquement les invites pendant les tests.

#Techniques d'Adaptation en Temps de Test

Une variété de techniques TTA ont été développées pour gérer les changements dans la distribution des données entre les phases d'entraînement et de test. Certaines des stratégies incluent la minimisation de l'incertitude de prédiction, l'ajustement des statistiques de normalisation par lot et l'utilisation de pseudo-étiquetage. Ces méthodes ont montré un certain potentiel mais comportent souvent des coûts de calcul élevés, rendant leur utilisation moins appropriée pour des applications pratiques.

Self-TPT vise à fournir un cadre plus efficace pour le réglage des invites en temps de test, s’efforçant d'équilibrer performance maximale et applicabilité dans le monde réel.

#Vue d'Ensemble de la Pipeline de Self-TPT

Self-TPT suit un processus clair en trois étapes. Dans la première étape, l'apprentissage des invites se fait sur un ensemble de données source tout en incorporant l'apprentissage auto-supervisé pour une meilleure adaptation. La deuxième étape implique l'ajustement aux nouvelles classes pendant les tests à l'aide d'une tâche auto-supervisée, suivie de la dernière étape où les prédictions sont faites sans ajustements supplémentaires.

L'ensemble du pipeline permet un apprentissage efficace, réduisant considérablement la charge de calcul pendant l'inférence.

#Réglage des Invites Contrastives

Le CPT joue un rôle vital au sein du Self-TPT en s'assurant que le modèle apprend à différencier efficacement les classes. Il génère des paires positives en variant l'arrangement d'un token de classe pour l'apprentissage contrastif. Cette configuration renforce non seulement le processus d'apprentissage mais aide également à maintenir les distinctions de classe nécessaires pour une classification efficace.

Le CPT a montré une forte corrélation avec la tâche de classification, ce qui fournit un soutien essentiel pour son efficacité pendant la phase d'adaptation. Cette connexion souligne l'importance de maintenir des tâches d'entraînement efficaces qui s'alignent étroitement avec les tâches cibles.

#Correspondance des Gradients

Pour analyser comment le CPT aide à la performance lors de l'adaptation, on a examiné les corrélations des gradients entre les tâches de classification et de CPT. Une corrélation positive visible indique que le CPT peut s'aligner sur les objectifs d'optimisation de la tâche de classification. Cette compréhension mène au développement de la perte GM, qui vise à garder les directions des gradients cohérentes et à améliorer la performance globale.

#Configuration Expérimentale et Ensembles de Données

On vise à fournir une évaluation exhaustive en utilisant une variété d'ensembles de données couvrant différentes tâches de reconnaissance. Les évaluations de performance incluent la généralisation inter-ensembles de données, la généralisation de base à nouvelle et des scénarios de généralisation de domaine.

#Résultats sur la Généralisation et l'Adaptation

Self-TPT a montré des performances remarquables à travers plusieurs ensembles de données, surpassant systématiquement les méthodes à la pointe de la technologie existantes. Il met également en avant le potentiel de bien s'adapter à différentes architectures de modèles et échelles, démontrant sa polyvalence dans différentes applications.

Les résultats indiquent qu'avoir un ensemble diversifié de classes au sein des données sources a un impact significatif sur la performance des modèles. Cela suggère l'importance de prioriser une représentation de classe diversifiée dans la collecte de données pour des déploiements pratiques.

#Limitations et Travaux Futurs

Bien que Self-TPT aborde de nombreuses questions liées à l'adaptation en temps de test, il reste des défis concernant l'efficacité de son implémentation. Il y a un besoin de perfectionnement supplémentaire pour s'assurer qu'il peut faire face à des ensembles de classes variés pendant les tests.

Les objectifs futurs incluent l'amélioration du cadre Self-TPT pour s'adapter à encore plus d'applications au-delà de la classification d'images, comme les tâches en compréhension vidéo et la gestion d'interactions visuelles-langagères complexes.

#Conclusion

En résumé, on présente Self-TPT comme une approche novatrice pour le réglage efficace des invites en temps de test. Cette méthode s'attaque aux inefficacités computationnelles des méthodes TPT existantes et utilise l'apprentissage auto-supervisé pour créer un cadre robuste pour adapter les invites en temps réel. Nos résultats empiriques valident l'efficacité et l'efficience de Self-TPT, fournissant une base concrète pour de futures explorations dans ce domaine.