Nouveaux jeux de données pour une estimation précise de l'apport alimentaire
Présentation des datasets NutritionVerse pour améliorer les méthodes d'évaluation de l'alimentation.
― 6 min lire
Table des matières
- Importance de l'estimation de l'apport alimentaire
- Défis des méthodes d'évaluation diététique actuelles
- NutritionVerse-Synth et NutritionVerse-Real
- Méthodes d'estimation de l'apport alimentaire
- Avantages de l'utilisation des infos de profondeur
- Principales conclusions de notre recherche
- Conclusion
- Source originale
- Liens de référence
Estimer combien les gens mangent, c'est super important pour encourager une alimentation saine. La malnutrition peut vraiment nuire à la qualité de vie, donc il faut des estimations précises de l'Apport alimentaire pour guider les politiques et les programmes. Mais, les méthodes traditionnelles comme les carnets de nourriture ont souvent des biais parce qu'elles dépendent de la mémoire des gens sur ce qu'ils ont mangé. Les applis mobiles, par exemple, prennent du temps et parfois nécessitent du personnel formé pour aider. Récemment, des chercheurs ont tenté d'utiliser la vision par ordinateur et l'apprentissage automatique pour estimer la consommation alimentaire en analysant des images de nourriture. Mais l'efficacité de ces méthodes reste limitée, car il n'y a pas assez d'images de bonne qualité de la nourriture sous différents angles ou types.
Pour améliorer cela, on présente un nouveau jeu de données appelé NutritionVerse-Synth, qui contient 84 984 images synthétiques de nourriture avec des informations diététiques importantes et diverses annotations. On a aussi créé un jeu de données réel, NutritionVerse-Real, qui inclut 889 images de vrais plats pour vérifier à quel point nos données synthétiques sont réalistes. Avec ces jeux de données, on explore différentes manières d'estimer combien les gens mangent, y compris des techniques qui segmentent la nourriture dans les images et d'autres qui prédisent directement la consommation alimentaire.
Importance de l'estimation de l'apport alimentaire
Comprendre l'apport alimentaire, c'est crucial parce que la malnutrition touche beaucoup de gens. Les méthodes actuelles, comme les carnets de nourriture ou les questionnaires, échouent souvent à cause de biais. De nouvelles méthodes technologiques peuvent aider à mieux estimer la consommation alimentaire, surtout en utilisant des images. Toutefois, beaucoup de méthodes existantes galèrent car elles reposent sur des jeux de données limités qui ne capturent pas la diversité des situations alimentaires du monde réel.
Défis des méthodes d'évaluation diététique actuelles
- Biais d'auto-évaluation : Les méthodes traditionnelles demandent aux gens de rapporter leur apport alimentaire, et ce n'est pas toujours précis.
- Coûts en temps élevés : Certaines nouvelles méthodes, comme les applis, nécessitent beaucoup de temps.
- Besoin de personnel formé : Beaucoup d'approches requièrent une formation pour assurer des résultats précis.
- Jeux de données limités : Beaucoup de jeux de données d'images de nourriture sont restreints en taille et en diversité d'aliments.
NutritionVerse-Synth et NutritionVerse-Real
Pour régler les soucis des méthodes d'évaluation alimentaire, on a créé deux jeux de données :
NutritionVerse-Synth
Ce jeu de données contient 84 984 images synthétiques de nourriture. Ces images sont générées avec des simulations avancées pour qu'elles aient l'air réalistes. Chaque image a des infos diététiques comme les calories, les protéines, les graisses et les glucides. En utilisant des modèles 3D de nourriture, on peut créer une grande variété de scènes avec différents aliments placés de différentes manières.
NutritionVerse-Real
Ce jeu de données comprend 889 images de vrais plats. On a pris ces images avec un smartphone, en s'assurant qu'elles reflètent la diversité de la vie réelle. Les plats sont limités à ceux du jeu de données synthétique pour faciliter la comparaison.
Méthodes d'estimation de l'apport alimentaire
On a exploré deux principales approches pour estimer l'apport alimentaire : la prédiction indirecte et la Prédiction directe.
Prédiction Indirecte
Cette méthode consiste à compter les pixels des aliments dans les images pour déterminer l'apport alimentaire. On utilise des modèles de segmentation pour identifier quels pixels appartiennent à quels aliments, ce qui nous permet d'estimer l'apport en fonction du nombre de pixels associés à chaque aliment.
Prédiction Directe
Dans cette technique, on utilise des modèles d'apprentissage profond pour prédire directement les infos diététiques à partir des images de nourriture sans compter les pixels. Cette méthode peut être plus directe et parfois donne de meilleurs résultats.
Avantages de l'utilisation des infos de profondeur
On a aussi examiné l'impact de l'utilisation des infos de profondeur, qui se réfèrent aux données sur la distance des objets dans une image. La profondeur peut aider à déterminer le volume et les tailles de portions de nourriture, ce qui pourrait améliorer la précision. Cependant, nos résultats montrent que les infos de profondeur ne sont pas toujours bénéfiques pour la performance des modèles, surtout dans les tâches de prédiction directe.
Principales conclusions de notre recherche
- Meilleure approche : La méthode la plus efficace pour estimer l'apport alimentaire était la prédiction directe en utilisant un ensemble spécifique de poids pré-entraînés. Cette méthode a généralement mieux fonctionné que les méthodes indirectes.
- Effet des infos de profondeur : Bien que l'ajout d'informations de profondeur ait aidé à améliorer certains modèles, cela a eu un impact négatif sur la précision des prédictions directes. Donc, les infos de profondeur pourraient être plus utiles dans les approches indirectes.
- Impact des données synthétiques : Quand on a entraîné des modèles uniquement sur des données synthétiques, ils ont bien fonctionné, mais leur précision a chuté lorsqu'ils ont été testés sur des données réelles. L'affinage de ces modèles avec des données réelles a généralement amélioré leur précision.
Conclusion
Pour résumer, estimer l'apport alimentaire avec précision est essentiel pour promouvoir une alimentation saine. Alors que les méthodes traditionnelles ont des limites, l'utilisation de la vision par ordinateur et de l'apprentissage automatique offre des alternatives prometteuses. Nos jeux de données NutritionVerse fournissent des ressources précieuses pour les chercheurs, permettant le développement de meilleures méthodes d'estimation diététique. En utilisant efficacement les données synthétiques, on peut potentiellement surmonter certains défis posés par les évaluations alimentaires réelles. Le travail futur se concentrera sur l'expansion du jeu de données synthétiques et l'application de ces méthodes à des situations alimentaires plus diverses.
Titre: NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches
Résumé: Accurate dietary intake estimation is critical for informing policies and programs to support healthy eating, as malnutrition has been directly linked to decreased quality of life. However self-reporting methods such as food diaries suffer from substantial bias. Other conventional dietary assessment techniques and emerging alternative approaches such as mobile applications incur high time costs and may necessitate trained personnel. Recent work has focused on using computer vision and machine learning to automatically estimate dietary intake from food images, but the lack of comprehensive datasets with diverse viewpoints, modalities and food annotations hinders the accuracy and realism of such methods. To address this limitation, we introduce NutritionVerse-Synth, the first large-scale dataset of 84,984 photorealistic synthetic 2D food images with associated dietary information and multimodal annotations (including depth images, instance masks, and semantic masks). Additionally, we collect a real image dataset, NutritionVerse-Real, containing 889 images of 251 dishes to evaluate realism. Leveraging these novel datasets, we develop and benchmark NutritionVerse, an empirical study of various dietary intake estimation approaches, including indirect segmentation-based and direct prediction networks. We further fine-tune models pretrained on synthetic data with real images to provide insights into the fusion of synthetic and real data. Finally, we release both datasets (NutritionVerse-Synth, NutritionVerse-Real) on https://www.kaggle.com/nutritionverse/datasets as part of an open initiative to accelerate machine learning for dietary sensing.
Auteurs: Chi-en Amy Tai, Matthew Keller, Saeejith Nair, Yuhao Chen, Yifan Wu, Olivia Markham, Krish Parmar, Pengcheng Xi, Heather Keller, Sharon Kirkpatrick, Alexander Wong
Dernière mise à jour: 2024-09-01 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2309.07704
Source PDF: https://arxiv.org/pdf/2309.07704
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.