Sviluppi nell'analisi dei dati per la fisica delle alte energie

The Analysis Grand Challenge (AGC) è un progetto che si concentra sul testare e migliorare i metodi per analizzare i dati nella fisica delle particelle ad alta energia. L’obiettivo è preparare i ricercatori per l’imminente High Luminosity Large Hadron Collider (HL-LHC), che genererà enormi quantità di dati. L’AGC utilizza dati Open Data pubblicamente disponibili per permettere ai ricercatori di confrontare diverse tecniche di analisi.

#Scopo dell'AGC

L'obiettivo principale dell'AGC è mostrare come gestire le esigenze di elaborazione dei dati dell'HL-LHC. Questo include come gestire grandi volumi di dati, tenere traccia delle informazioni e affrontare varie incertezze nei dati. L'AGC esamina anche l'uso di formati di dati più piccoli per allinearsi agli obiettivi dei principali esperimenti al Large Hadron Collider (LHC). Inoltre, il progetto mira a coinvolgere gli utenti nel lavorare con nuovi metodi di analisi.

#Analisi Interattiva Veloce

L'AGC sta anche esplorando metodi di analisi rapidi che possono produrre risultati in pochi minuti o meno. Questo implica eseguire molte attività contemporaneamente e utilizzare la cache per accelerare il processo nelle attività successive. Testando questi metodi veloci, il progetto spera di migliorare il modo in cui i dati possono essere analizzati in tempo reale.

#Componenti dell'AGC

L'AGC è composto da diversi elementi importanti. Il progetto è progettato in modo che le persone possano lavorare su singole parti senza dover essere coinvolti in tutto. Gli aspetti chiave includono:

• Creare un compito di analisi realistico che rifletta il lavoro necessario per l'HL-LHC.
• Sviluppare flussi di lavoro che possano eseguire questo compito di analisi in modo efficace.
• Identificare aree che necessitano di miglioramenti in termini di prestazioni e facilità d’uso per questi flussi di lavoro.

#Descrizione del Compito di Analisi

Il compito di analisi per l'AGC si concentra sulla misurazione della produzione di coppie di quark top quando è presente una singola particella carica. Questo compito è stato scelto perché include molti elementi importanti di un’analisi fisica tipica. Il compito è anche abbastanza flessibile da adattarsi ad altri tipi di analisi. Una parte significativa del compito implica gestire diversi tipi di incertezze e tenere traccia delle informazioni pertinenti.

I dati utilizzati per questo compito provengono dai dati Open Data del Run-2 CMS, che contiene circa 400 terabyte di dati in formato MiniAOD. L'analisi specifica di cui si parla qui utilizza un formato più piccolo derivato da questi dati, con circa 1 miliardo di eventi, per un totale di circa 3,5 terabyte. Questi dati sono accessibili al pubblico, rendendo più facile per chiunque partecipare.

#Stack Software dell'AGC

Il compito di analisi dell'AGC utilizza una varietà di strumenti software sviluppati dalla collaborazione IRIS-HEP. Lo stack software consiste in diversi pacchetti che supportano diverse parti dell'analisi. I componenti chiave includono:

• ServiceX: un servizio che fornisce dati in colonne in base alle richieste degli utenti.
• Coffea: questo framework organizza il modo in cui i dati vengono elaborati e produce istogrammi.
• Uproot e Awkward-Array: questi strumenti aiutano a lavorare con strutture di dati complesse.
• Mplhep: questo pacchetto è usato per visualizzare i dati.
• Cabinetry: questo strumento aiuta a costruire modelli statistici.
• Pyhf: questo pacchetto gestisce l'analisi statistica.

L'AGC è aperto ai contributi dalla comunità, permettendo la collaborazione sul compito di analisi e la sua implementazione.

#Ricerca e Sviluppo sulla Gestione dei Dati

C'è una ricerca in corso mirata a migliorare il modo in cui gli eventi fisici vengono consegnati ai ricercatori. Questo lavoro include lo sviluppo di servizi come ServiceX e la loro integrazione in un unico sistema. Questi aggiornamenti si concentrano sul rendere l'analisi dei dati più facile ed efficiente per gli utenti.

Alcuni progetti specifici previsti per migliorare le prestazioni includono:

• XCache: questo strumento viene utilizzato per memorizzare e consegnare set di dati, riducendo i ritardi nell'accesso ai dati.
• Skyhook DM: questo strumento estende le capacità di archiviazione, rendendo più veloce la gestione di compiti comuni come selezionare e organizzare i dati.

#Miglioramento delle Strutture di Analisi

Con l'arrivo dell'HL-LHC, ci saranno nuove sfide su come le strutture esistenti possono adattarsi per gestire le crescenti esigenze di analisi dei dati. Vari gruppi stanno attivamente studiando e creando nuove strutture per affrontare queste sfide.

Un prototipo notevole è la struttura Coffea-casa, sviluppata per facilitare l'analisi interattiva dei dati a tassi di dati dell'HL-LHC. Questa struttura permette che l'analisi degli utenti venga condotta su scala più ampia e mira a trasformare le strutture attuali in sistemi più flessibili.

La struttura Coffea-casa ha dimostrato la propria capacità di adattarsi a diversi siti e configurazioni. È stata integrata con successo con una struttura di analisi presso l'Università di Chicago, dimostrando la sua adattabilità.

#Test delle Prestazioni

Il test dell'AGC implica due configurazioni principali per valutare quanto bene i metodi di analisi scalino. La prima si concentra sulla scalabilità multi-core, mentre la seconda esplora la scalabilità distribuita.

Presso l'Università del Nebraska–Lincoln, è stato utilizzato un sito Tier-2 per misurare le prestazioni con risorse ad alta capacità. Hanno utilizzato 12 server, ognuno dotato di processori potenti e memoria significativa. Questa struttura è stata fondamentale nel testare quanto bene l'analisi potesse scalare.

L'Università di Chicago ha offerto una configurazione diversa per analizzare gli effetti dell'uso di file di input locali. Le risorse disponibili lì includevano 16 nodi potenti progettati per un'analisi dei dati efficace.

#Scalabilità Multi-Core

Valutando le prestazioni dell'uso di più core per l'analisi, sono state effettuate misurazioni per valutare come l'efficienza cambiasse con il numero di core utilizzati. I test hanno mostrato che leggere dati dallo storage locale evitava ritardi associati all'accesso di rete.

Con l’aumento dei core utilizzati, sono stati misurati il tempo totale impiegato per l'analisi (walltime) e il numero di eventi elaborati per core. Anche se è stata notata una piccola diminuzione dell’efficienza con più core, i risultati complessivi sono stati positivi.

#Risorse Distribuite

Il test delle prestazioni delle risorse distribuite includeva la configurazione di un ambiente Coffea utilizzando Dask. Questo ha permesso l'esecuzione di attività in modo distribuito su più sistemi. I risultati hanno mostrato prestazioni stabili durante l'elaborazione di grandi set di dati, evidenziando una pianificazione efficiente dei lavori.

I test hanno indicato che i tassi di eventi rimanevano stabili quando si lavorava con set di dati attraverso la rete, dimostrando che la scalabilità era efficace indipendentemente dalle dimensioni del set di dati.

#Impatto dei Dati di Input

Ulteriori test presso la struttura del Nebraska si sono concentrati su come variare il numero di core e la quantità di dati di input letti influenzasse le prestazioni. I risultati hanno mostrato che una scalabilità stabile era raggiungibile con fino a 400 core. Tuttavia, la porzione di dati accessibili nei file aveva un effetto significativo sui tassi di eventi, implicando che un'elaborazione rapida dei dati era possibile, soprattutto quando si consideravano segmenti di dati più piccoli.

#Conclusione e Direzioni Future

I test iniziali delle prestazioni del compito di analisi dell'AGC hanno mostrato risultati promettenti. I risultati indicano metodi efficaci per gestire l'analisi dei dati su scala necessaria per gli esperimenti dell'HL-LHC. I lavori futuri si espanderanno su questi risultati testando metodi di consegna dati aggiuntivi e confrontando le loro prestazioni.

Ci sono piani per ampliare le misurazioni per includere più configurazioni hardware in diverse strutture per comprendere e migliorare ulteriormente le capacità di analisi. Il progetto continua a ricevere supporto da varie organizzazioni, assicurando sviluppo e ricerca continui in questo settore critico della fisica ad alta energia.