Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes# Intelligence artificielle

Nouveaux jeux de données pour une estimation précise de l'apport alimentaire

Présentation des datasets NutritionVerse pour améliorer les méthodes d'évaluation de l'alimentation.

― 6 min lire


RévolutionnerRévolutionnerl'estimation de l'apportalimentairediététique.améliorent les techniques d'évaluationDe nouveaux ensembles de données
Table des matières

Estimer combien les gens mangent, c'est super important pour encourager une alimentation saine. La malnutrition peut vraiment nuire à la qualité de vie, donc il faut des estimations précises de l'Apport alimentaire pour guider les politiques et les programmes. Mais, les méthodes traditionnelles comme les carnets de nourriture ont souvent des biais parce qu'elles dépendent de la mémoire des gens sur ce qu'ils ont mangé. Les applis mobiles, par exemple, prennent du temps et parfois nécessitent du personnel formé pour aider. Récemment, des chercheurs ont tenté d'utiliser la vision par ordinateur et l'apprentissage automatique pour estimer la consommation alimentaire en analysant des images de nourriture. Mais l'efficacité de ces méthodes reste limitée, car il n'y a pas assez d'images de bonne qualité de la nourriture sous différents angles ou types.

Pour améliorer cela, on présente un nouveau jeu de données appelé NutritionVerse-Synth, qui contient 84 984 images synthétiques de nourriture avec des informations diététiques importantes et diverses annotations. On a aussi créé un jeu de données réel, NutritionVerse-Real, qui inclut 889 images de vrais plats pour vérifier à quel point nos données synthétiques sont réalistes. Avec ces jeux de données, on explore différentes manières d'estimer combien les gens mangent, y compris des techniques qui segmentent la nourriture dans les images et d'autres qui prédisent directement la consommation alimentaire.

Importance de l'estimation de l'apport alimentaire

Comprendre l'apport alimentaire, c'est crucial parce que la malnutrition touche beaucoup de gens. Les méthodes actuelles, comme les carnets de nourriture ou les questionnaires, échouent souvent à cause de biais. De nouvelles méthodes technologiques peuvent aider à mieux estimer la consommation alimentaire, surtout en utilisant des images. Toutefois, beaucoup de méthodes existantes galèrent car elles reposent sur des jeux de données limités qui ne capturent pas la diversité des situations alimentaires du monde réel.

Défis des méthodes d'évaluation diététique actuelles

  1. Biais d'auto-évaluation : Les méthodes traditionnelles demandent aux gens de rapporter leur apport alimentaire, et ce n'est pas toujours précis.
  2. Coûts en temps élevés : Certaines nouvelles méthodes, comme les applis, nécessitent beaucoup de temps.
  3. Besoin de personnel formé : Beaucoup d'approches requièrent une formation pour assurer des résultats précis.
  4. Jeux de données limités : Beaucoup de jeux de données d'images de nourriture sont restreints en taille et en diversité d'aliments.

NutritionVerse-Synth et NutritionVerse-Real

Pour régler les soucis des méthodes d'évaluation alimentaire, on a créé deux jeux de données :

NutritionVerse-Synth

Ce jeu de données contient 84 984 images synthétiques de nourriture. Ces images sont générées avec des simulations avancées pour qu'elles aient l'air réalistes. Chaque image a des infos diététiques comme les calories, les protéines, les graisses et les glucides. En utilisant des modèles 3D de nourriture, on peut créer une grande variété de scènes avec différents aliments placés de différentes manières.

NutritionVerse-Real

Ce jeu de données comprend 889 images de vrais plats. On a pris ces images avec un smartphone, en s'assurant qu'elles reflètent la diversité de la vie réelle. Les plats sont limités à ceux du jeu de données synthétique pour faciliter la comparaison.

Méthodes d'estimation de l'apport alimentaire

On a exploré deux principales approches pour estimer l'apport alimentaire : la prédiction indirecte et la Prédiction directe.

Prédiction Indirecte

Cette méthode consiste à compter les pixels des aliments dans les images pour déterminer l'apport alimentaire. On utilise des modèles de segmentation pour identifier quels pixels appartiennent à quels aliments, ce qui nous permet d'estimer l'apport en fonction du nombre de pixels associés à chaque aliment.

Prédiction Directe

Dans cette technique, on utilise des modèles d'apprentissage profond pour prédire directement les infos diététiques à partir des images de nourriture sans compter les pixels. Cette méthode peut être plus directe et parfois donne de meilleurs résultats.

Avantages de l'utilisation des infos de profondeur

On a aussi examiné l'impact de l'utilisation des infos de profondeur, qui se réfèrent aux données sur la distance des objets dans une image. La profondeur peut aider à déterminer le volume et les tailles de portions de nourriture, ce qui pourrait améliorer la précision. Cependant, nos résultats montrent que les infos de profondeur ne sont pas toujours bénéfiques pour la performance des modèles, surtout dans les tâches de prédiction directe.

Principales conclusions de notre recherche

  1. Meilleure approche : La méthode la plus efficace pour estimer l'apport alimentaire était la prédiction directe en utilisant un ensemble spécifique de poids pré-entraînés. Cette méthode a généralement mieux fonctionné que les méthodes indirectes.
  2. Effet des infos de profondeur : Bien que l'ajout d'informations de profondeur ait aidé à améliorer certains modèles, cela a eu un impact négatif sur la précision des prédictions directes. Donc, les infos de profondeur pourraient être plus utiles dans les approches indirectes.
  3. Impact des données synthétiques : Quand on a entraîné des modèles uniquement sur des données synthétiques, ils ont bien fonctionné, mais leur précision a chuté lorsqu'ils ont été testés sur des données réelles. L'affinage de ces modèles avec des données réelles a généralement amélioré leur précision.

Conclusion

Pour résumer, estimer l'apport alimentaire avec précision est essentiel pour promouvoir une alimentation saine. Alors que les méthodes traditionnelles ont des limites, l'utilisation de la vision par ordinateur et de l'apprentissage automatique offre des alternatives prometteuses. Nos jeux de données NutritionVerse fournissent des ressources précieuses pour les chercheurs, permettant le développement de meilleures méthodes d'estimation diététique. En utilisant efficacement les données synthétiques, on peut potentiellement surmonter certains défis posés par les évaluations alimentaires réelles. Le travail futur se concentrera sur l'expansion du jeu de données synthétiques et l'application de ces méthodes à des situations alimentaires plus diverses.

Source originale

Titre: NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches

Résumé: Accurate dietary intake estimation is critical for informing policies and programs to support healthy eating, as malnutrition has been directly linked to decreased quality of life. However self-reporting methods such as food diaries suffer from substantial bias. Other conventional dietary assessment techniques and emerging alternative approaches such as mobile applications incur high time costs and may necessitate trained personnel. Recent work has focused on using computer vision and machine learning to automatically estimate dietary intake from food images, but the lack of comprehensive datasets with diverse viewpoints, modalities and food annotations hinders the accuracy and realism of such methods. To address this limitation, we introduce NutritionVerse-Synth, the first large-scale dataset of 84,984 photorealistic synthetic 2D food images with associated dietary information and multimodal annotations (including depth images, instance masks, and semantic masks). Additionally, we collect a real image dataset, NutritionVerse-Real, containing 889 images of 251 dishes to evaluate realism. Leveraging these novel datasets, we develop and benchmark NutritionVerse, an empirical study of various dietary intake estimation approaches, including indirect segmentation-based and direct prediction networks. We further fine-tune models pretrained on synthetic data with real images to provide insights into the fusion of synthetic and real data. Finally, we release both datasets (NutritionVerse-Synth, NutritionVerse-Real) on https://www.kaggle.com/nutritionverse/datasets as part of an open initiative to accelerate machine learning for dietary sensing.

Auteurs: Chi-en Amy Tai, Matthew Keller, Saeejith Nair, Yuhao Chen, Yifan Wu, Olivia Markham, Krish Parmar, Pengcheng Xi, Heather Keller, Sharon Kirkpatrick, Alexander Wong

Dernière mise à jour: 2024-09-01 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2309.07704

Source PDF: https://arxiv.org/pdf/2309.07704

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires