Présentation de Uni-Food : un nouveau dataset alimentaire

Les grands modèles multimodaux (LMMs) ont fait d’énormes progrès dans la gestion des tâches impliquant à la fois des images et du texte. Ils sont particulièrement utiles dans des domaines comme la reconnaissance d'images de nourriture, la génération de recettes et l'analyse nutritionnelle. Avec des ensembles de données comme Recipe1M, les chercheurs peuvent accéder à une vaste gamme de recettes et d'images de nourriture. Cependant, ces ensembles manquent souvent d'informations nutritionnelles détaillées, ce qui limite leur utilité pour les études liées à la santé. C'est là qu'on intervient avec notre nouvel ensemble de données, Uni-Food.

#Qu'est-ce qu'Uni-Food ?

Uni-Food est un grand ensemble de données conçu spécifiquement pour les tâches liées à la nourriture. Il comprend plus de 100 000 images, couvrant des catégories comme les Ingrédients, les recettes et les informations nutritionnelles au niveau des ingrédients. En combinant toutes ces données dans un seul ensemble, on vise à créer une ressource plus complète pour les chercheurs afin d'étudier divers aspects de la nourriture.

#Défis de l'apprentissage multitâche

Lorsqu'on utilise des LMMs, un des principaux défis est le conflit qui survient lorsqu'on essaie d'apprendre plusieurs tâches en même temps. Chaque tâche peut nécessiter différentes quantités d'attention et de ressources, ce qui peut entraîner des inefficacités dans l'entraînement. Pour résoudre ce problème, on a développé une nouvelle approche appelée Mix des experts divers rectifiés linéaires (RoDE). Cette méthode permet au modèle d'allouer des ressources de manière adaptative en fonction de la complexité de chaque tâche.

#L'approche RoDE

RoDE utilise une variété de modèles experts, chacun spécialisé dans différentes tâches ou types de données. De cette manière, quand une tâche plus complexe apparaît, le modèle peut lui assigner plus de ressources, tandis que les tâches plus simples en utilisent moins. Le routeur de RoDE applique une technique appelée rectification linéaire, qui aide à améliorer la coordination de ces experts. Ce système garantit que le modèle peut gérer efficacement ses ressources tout en restant efficace pendant l'entraînement et l'inférence.

#Accent sur les tâches alimentaires

RoDE vise spécifiquement les tâches liées à la nourriture, comme la classification des aliments, la reconnaissance des ingrédients et l'estimation nutritionnelle. Étiqueter ces tâches avec précision est important pour maintenir des données de haute qualité. L'ensemble de données Uni-Food comprend des annotations détaillées pour les catégories, les listes d'ingrédients, les instructions de cuisson et les informations nutritionnelles pour chaque image. Ce niveau de détail est nécessaire étant donné le rôle central que joue la nourriture dans nos vies.

#Importance des données de haute qualité

Les ensembles de données alimentaires peuvent varier énormément en taille et qualité. Bien que certains ensembles offrent plein de recettes et d'images, ils manquent souvent d'informations nutritionnelles complètes. Par exemple, Recipe1M contient un million de recettes, mais ne fournit pas de données nutritionnelles détaillées. D'un autre côté, des ensembles de données spécifiques à la Nutrition comme Nutrition5k ont des limitations en termes d'échelle et de couverture. Pour combler cette lacune, Uni-Food vise à fournir un ensemble unifié avec des informations riches pouvant soutenir diverses tâches liées à la nourriture.

#Construction de l'ensemble de données Uni-Food

Pour créer l'ensemble de données Uni-Food, on a collecté des images et des informations de Recipe1M et on les a complétées avec des données nutritionnelles supplémentaires. On a utilisé des outils comme ChatGPT-4 pour générer ces informations nutritionnelles basées sur les listes d'ingrédients. Les informations de chaque recette ont ensuite été combinées pour produire un profil nutritionnel global pour le plat, permettant ainsi des recherches diététiques robustes.

On s'est aussi donné le but d'assurer la qualité de l'ensemble de données en sélectionnant manuellement un sous-ensemble pour les tests. Ce processus de sélection minutieux aide à maintenir des normes élevées pour les données utilisées dans les expériences et évaluations.

#Faire face aux défis de l'apprentissage multitâche

Pour gérer les défis associés à l'apprentissage multitâche, le mélange d'experts (MoE) a été une technique populaire en traitement du langage naturel. Cette méthode divise les tâches entre plusieurs modèles experts, qui peuvent se spécialiser dans différents segments de données. Récemment, le MoE a été intégré dans les LMMs pour améliorer leur performance dans diverses tâches.

Cependant, les méthodes MoE existantes peuvent augmenter le nombre de paramètres dans un modèle, le rendant gourmand en ressources. Notre méthode RoDE optimise ce problème en utilisant un mélange d'experts à faible et à haut rang, permettant au modèle de gérer efficacement des tâches de complexité différente.

#Mise en œuvre de RoDE

RoDE crée un espace de compétence structuré où les experts peuvent être partagés entre les tâches. Au lieu d'attacher un expert spécifique à une seule tâche, RoDE permet à une variété de tâches d'utiliser plusieurs experts. Cette approche large donne au modèle la flexibilité d'adapter les ensembles de compétences selon les besoins.

Le routeur de rectification linéaire affine la manière dont les tâches sont assignées aux experts. Il utilise une fonction ReLU simplifiée qui aide le modèle à apprendre quels experts activer pour des tâches spécifiques. Cette méthode conduit à une utilisation plus efficace des ressources du modèle, ce qui est particulièrement important dans le domaine alimentaire où les tâches peuvent varier en complexité.

#Résultats expérimentaux

On a réalisé plusieurs expériences pour valider l’efficacité de l'approche RoDE. Les expériences ont comparé RoDE avec des modèles MoE traditionnels et ont mis en évidence des améliorations significatives en performance. Pour des tâches comme la reconnaissance des ingrédients et la génération de recettes, RoDE a montré une augmentation notable de la précision et de l'efficacité.

De plus, les études ont révélé que l'utilisation d'un ensemble diversifié d'experts produisait de meilleurs résultats comparé à l'utilisation du même type d'expert pour toutes les tâches. Cela signifie que le fait d'avoir un mélange d'experts avec des capacités variées permet au modèle de mieux gérer la complexité des tâches dans le domaine alimentaire.

#Métriques spécifiques aux tâches

Pour évaluer l’efficacité de l'ensemble de données Uni-Food et de l'approche RoDE, on s'est concentré sur des métriques spécifiques pour différentes tâches. Pour la reconnaissance des ingrédients, on a utilisé l'Intersection over Union (IoU) pour mesurer le chevauchement entre les ingrédients prédits et réels. Pour la génération de recettes, on a utilisé des métriques SacreBLEU et Rouge-L couramment utilisées dans les évaluations de génération de texte. L'estimation nutritionnelle a nécessité d'employer l'erreur absolue moyenne en pourcentage pour évaluer dans quelle mesure le modèle pouvait prédire le contenu nutritionnel basé sur des images alimentaires.

#Conclusion

Notre travail introduit Uni-Food comme une ressource essentielle pour les chercheurs dans le domaine alimentaire. En combinant des données détaillées sur les ingrédients et la nutrition avec des images, on fournit un ensemble unifié qui facilite diverses tâches de recherche liées à la nourriture. De plus, l'approche RoDE gère efficacement les défis de l'apprentissage multitâche, garantissant une performance efficace et précise à travers différentes tâches liées à la nourriture.

Les résultats expérimentaux confirment les forces de RoDE, montrant qu'il surpasse largement les approches traditionnelles tout en restant efficace en ressources. On encourage davantage de recherches et d'explorations utilisant l'ensemble de données Uni-Food, car il peut débloquer de nouvelles perspectives sur le monde de la nourriture, de la nutrition et de la santé.