Presentiamo Uni-Food: un nuovo dataset alimentare

I Grandi Modelli Multi-modali (LMM) hanno fatto passi da gigante nel gestire compiti che coinvolgono sia immagini che testo. Sono particolarmente utili in aree come il riconoscimento delle immagini di cibo, la generazione di ricette e l'analisi nutrizionale. Con Set di dati come Recipe1M, i ricercatori possono accedere a un'ampia gamma di ricette e immagini di cibo. Tuttavia, questi set di dati spesso mancano di informazioni nutrizionali dettagliate, il che ne limita l'utilità per studi legati alla salute. Ed è qui che entra in gioco il nostro nuovo set di dati, Uni-Food.

#Cos'è Uni-Food?

Uni-Food è un grande set di dati progettato specificamente per compiti legati al cibo. Comprende oltre 100.000 immagini, coprendo categorie come Ingredienti, ricette e informazioni nutrizionali a livello di ingrediente. Combinando tutti questi dati in un unico set, puntiamo a creare una risorsa più completa per i ricercatori per studiare vari aspetti del cibo.

#Sfide nell'apprendimento multi-task

Quando si utilizzano LMM, una grande sfida è il conflitto che sorge cercando di apprendere più compiti contemporaneamente. Ogni compito può richiedere diverse quantità di attenzione e risorse, il che può portare a inefficienze durante l'addestramento. Per affrontare questo problema, abbiamo sviluppato un nuovo approccio chiamato Linear Rectified Mixture of Diverse Experts (RoDE). Questo metodo consente al modello di allocare risorse in modo adattivo in base alla complessità di ciascun compito.

#L'approccio RoDE

RoDE utilizza una varietà di modelli esperti, ciascuno specializzato in diversi compiti o tipi di dati. In questo modo, quando si presenta un compito più complesso, il modello può assegnare più risorse ad esso, mentre i compiti più semplici utilizzano meno risorse. Il router di RoDE applica una tecnica chiamata rettificazione lineare, che aiuta a migliorare il coordinamento di questi esperti. Questo sistema garantisce che il modello possa gestire efficacemente le proprie risorse rimanendo efficiente nell'addestramento e nell'inferenza.

#Focus sui compiti alimentari

RoDE mira specificamente a compiti legati al cibo, come la classificazione degli alimenti, il riconoscimento degli ingredienti e la stima nutrizionale. Etichettare accuratamente questi compiti è importante per mantenere dati di alta qualità. Il set di dati Uni-Food include annotazioni dettagliate per categorie, elenchi di ingredienti, istruzioni di cottura e informazioni nutrizionali per ciascuna immagine. Questo livello di dettaglio è necessario date le importanza centrale che il cibo gioca nelle nostre vite.

#Importanza di dati di alta qualità

I set di dati alimentari possono variare enormemente in dimensione e qualità. Anche se alcuni set di dati forniscono molte ricette e immagini, spesso mancano di informazioni nutrizionali complete. Ad esempio, Recipe1M include un milione di ricette, ma non fornisce dati nutrizionali dettagliati. D'altra parte, set di dati specifici per la Nutrizione come Nutrition5k hanno limiti in scala e copertura. Per colmare questa lacuna, Uni-Food punta a fornire un set di dati unificato con informazioni ricche che possano supportare vari compiti legati al cibo.

#Costruzione del set di dati Uni-Food

Per creare il set di dati Uni-Food, abbiamo raccolto immagini e informazioni da Recipe1M e migliorato il tutto con dati nutrizionali aggiuntivi. Abbiamo usato strumenti come ChatGPT-4 per generare queste informazioni nutrizionali basate sugli elenchi di ingredienti. Le informazioni di ciascuna ricetta sono state quindi combinate per produrre un profilo nutrizionale complessivo per il piatto, consentendo ricerche dietetiche solide.

Abbiamo anche cercato di garantire la qualità del set di dati curando manualmente un sottoinsieme per il test. Questo processo di selezione attenta aiuta a mantenere elevati standard per i dati utilizzati negli esperimenti e nelle valutazioni.

#Affrontare le sfide dell'apprendimento multi-task

Per gestire le sfide associate all'apprendimento multi-task, il Mixture of Experts (MoE) è stato una tecnica popolare nell'elaborazione del linguaggio naturale. Questo metodo divide i compiti tra più modelli esperti, che possono specializzarsi in diversi segmenti di dati. Recentemente, il MoE è stato incorporato negli LMM per migliorare le loro prestazioni su vari compiti.

Tuttavia, i metodi MoE esistenti possono aumentare il numero di parametri in un modello, rendendolo intensivo in termini di risorse. Il nostro metodo RoDE ottimizza questo problema utilizzando una combinazione di esperti a basso e alto rango, permettendo al modello di gestire compiti con diverse complessità in modo efficiente.

#Implementazione di RoDE

RoDE crea uno spazio di abilità strutturato dove gli esperti possono essere condivisi tra i compiti. Invece di legare un esperto specifico a un solo compito, RoDE consente a una varietà di compiti di utilizzare più esperti. Questo approccio ampio offre al modello la flessibilità di adattare le competenze secondo necessità.

Il router di rettificazione lineare affina il modo in cui i compiti vengono assegnati agli esperti. Utilizza una funzione ReLU semplificata che aiuta il modello a imparare quali esperti attivare per compiti specifici. Questo metodo porta a un uso più efficiente delle risorse del modello, particolarmente importante nel dominio alimentare dove i compiti possono variare in complessità.

#Risultati sperimentali

Abbiamo condotto vari esperimenti per convalidare l'efficacia dell'approccio RoDE. Gli esperimenti hanno confrontato RoDE con modelli MoE tradizionali e hanno evidenziato miglioramenti significativi nelle prestazioni. Per compiti come il riconoscimento degli ingredienti e la generazione di ricette, RoDE ha dimostrato un notevole aumento di accuratezza ed efficienza.

Inoltre, gli studi hanno rivelato che utilizzare un insieme diversificato di esperti ha prodotto risultati migliori rispetto all'utilizzo dello stesso tipo di esperto per tutti i compiti. Questo significa che avere un mix di esperti con capacità varie permette al modello di gestire meglio la complessità dei compiti nel dominio del cibo.

#Metriche specifiche per compito

Per valutare l'efficacia del set di dati Uni-Food e dell'approccio RoDE, ci siamo concentrati su metriche specifiche per diversi compiti. Per il riconoscimento degli ingredienti, abbiamo utilizzato l'Intersection over Union (IoU) per misurare la sovrapposizione tra ingredienti previsti e reali. Per la generazione di ricette, abbiamo utilizzato le metriche SacreBLEU e Rouge-L comuni nelle valutazioni di generazione di testo. La stima nutrizionale ha richiesto l'uso dell'errore medio assoluto come percentuale per valutare quanto bene il modello potesse prevedere il contenuto nutrizionale basato sulle immagini alimentari.

#Conclusione

Il nostro lavoro introduce Uni-Food come una risorsa essenziale per i ricercatori nel dominio alimentare. Combinando dati dettagliati sugli ingredienti e informazioni nutrizionali con immagini, forniamo un set di dati unificato che facilita vari compiti di ricerca legati al cibo. Inoltre, l'approccio RoDE gestisce efficacemente le sfide dell'apprendimento multi-task, garantendo prestazioni efficienti e accurate su diversi compiti legati al cibo.

I risultati sperimentali confermano i punti di forza di RoDE, dimostrando che supera significativamente gli approcci tradizionali rimanendo efficiente in termini di risorse. Invitiamo a ulteriori ricerche e esplorazioni utilizzando il set di dati Uni-Food, poiché può svelare nuove intuizioni nel mondo del cibo, della nutrizione e della salute.