Uno strumento per prevedere le prestazioni delle applicazioni e i costi

Nel mondo di oggi, molti utenti hanno accesso a diversi sistemi informatici come cluster locali, cloud privati o cloud pubblici. Con così tante opzioni, può essere difficile scegliere il miglior sistema e setup per far girare un'applicazione e raggiungere le prestazioni e i costi desiderati. Per aiutare gli utenti a fare queste scelte, presentiamo uno strumento di previsione che mostra il compromesso tra prestazioni e costi delle applicazioni su più sistemi.

#La sfida di scegliere un sistema

Selezionare il sistema e la configurazione giusti per un'applicazione è tosto. Dipende da come si comporta l'applicazione e cosa vuole l'utente. Ogni applicazione può avere motivi diversi per essere lenta o veloce. Per esempio, alcune applicazioni possono andare meglio con più risorse, mentre altre potrebbero non beneficiarne molto, o addirittura rallentare con più risorse. Gli utenti hanno anche obiettivi diversi; alcuni vogliono risparmiare, mentre altri vogliono velocizzare i tempi di esecuzione.

#La necessità di previsioni

Eseguire un'applicazione su ogni sistema e configurazione disponibile per ottenere dati di prestazioni e costi richiederebbe troppo tempo e risorse. Quindi, c'è bisogno di strumenti che possano prevedere questi dati senza necessitare di esecuzioni complete. Questa intuizione può aiutare gli utenti a prendere decisioni migliori in base alle loro specifiche esigenze.

#Approcci precedenti

In passato, alcuni strumenti hanno provato ad aiutare gli utenti a trovare il miglior sistema e configurazione usando diversi metodi di previsione. Alcuni strumenti si sono concentrati sulla ricerca della configurazione ottimale per ridurre i costi o massimizzare le prestazioni. Tuttavia, scegliere solo un'opzione quasi ottimale non sempre offre agli utenti l'immagine completa di cui hanno bisogno per fare la scelta migliore. A volte, gli utenti potrebbero essere disposti ad accettare una leggera diminuzione delle prestazioni se questo significa risparmiare molto sui costi.

Altri metodi hanno usato modelli analitici per prevedere le prestazioni, ma richiedevano spesso di far girare l'applicazione molte volte sullo stesso sistema. Questi approcci potevano essere limitati perché erano per lo più specifici per una sola applicazione o sistema, rendendoli meno adattabili.

#Il nostro strumento di previsione

Proponiamo uno strumento che prevede il compromesso tra prestazioni e costi di qualsiasi applicazione su diversi sistemi e varie configurazioni. Ecco come funziona:

1. Profilo dell'applicazione: Lo strumento esegue l'applicazione su alcune configurazioni selezionate per raccogliere informazioni.

2. Genera impronta: Crea un profilo unico (chiamato impronta) per l'applicazione in base ai dati raccolti.

3. Classifica il comportamento di scaling: Lo strumento usa questa impronta per categorizzare se l'applicazione scala bene con più risorse o meno.

4. Fai previsioni: In base alla classificazione, prevede le prestazioni su tutti i sistemi e configurazioni.

5. Valuta la sensibilità all'interferenza: Lo strumento prevede anche quanto l'applicazione è sensibile all'interferenza di altre applicazioni, il che può essere cruciale in ambienti condivisi.

#Passi nel processo di previsione

#Passo 1: Profilazione dell'applicazione

Quando un utente invia un'applicazione, il nostro strumento la esegue su un set selezionato di configurazioni. Queste configurazioni sono scelte per fornire una buona panoramica delle prestazioni dell'applicazione.

#Passo 2: Generazione delle impronte

Mentre l'applicazione viene eseguita, raccoglie vari indicatori di prestazione, che insieme formano la sua impronta. Questa impronta funge da riepilogo del comportamento dell'applicazione nelle configurazioni testate.

#Passo 3: Classificazione delle applicazioni

Una volta che l'impronta è disponibile, lo strumento classifica l'applicazione in due categorie principali:

• Scala bene: Applicazioni che mostrano un significativo miglioramento delle prestazioni con più risorse.

• Scala male: Applicazioni che non beneficiano di risorse aggiuntive e potrebbero addirittura rallentare.

#Passo 4: Previsione delle prestazioni

A seconda della classificazione, lo strumento fa previsioni. Per le applicazioni che scalano bene, prevede le prestazioni su tutte le configurazioni. Per quelle che scalano male, prevede solo le prestazioni per la configurazione meno intensive in risorse.

#Passo 5: Sensibilità all'interferenza

In ambienti dove più applicazioni girano contemporaneamente, è importante sapere come le prestazioni di un'applicazione potrebbero cambiare se altri utenti eseguono le loro applicazioni nello stesso momento. Lo strumento stima questo impatto modellando diversi scenari di interferenza.

#Valutazione dello strumento

#Test con benchmark

Per valutare quanto bene funzioni lo strumento, lo abbiamo testato con un totale di 69 applicazioni diverse. Queste applicazioni sono state eseguite su tre diversi sistemi CPU a nodo singolo, ognuno con varie configurazioni.

#Risultati

La valutazione ha mostrato che il nostro strumento poteva prevedere accuratamente il compromesso tra prestazioni e costi su questi sistemi. Per esempio, profilando l'applicazione per solo un breve periodo su poche configurazioni, lo strumento poteva comunque fornire previsioni preziose con tassi di errore relativamente bassi.

#Caso studio specifico: GROMACS

Per dimostrare ulteriormente l'efficacia dello strumento, lo abbiamo applicato a GROMACS, un'applicazione di simulazione di dinamica molecolare. Lo strumento è stato in grado di prevedere le prestazioni di GROMACS sui sistemi testati con un errore medio di solo 17,3%. Questo risultato mostra che anche senza eseguire l'applicazione fino alla fine, lo strumento può fornire previsioni significative.

#Vantaggi del nostro approccio

1. Vari ambiti di previsione: Gli utenti possono scegliere tra previsioni globali, previsioni per sistemi specifici o previsioni localizzate basate su configurazioni vicine.

2. Flessibilità: Il nostro strumento consente la selezione automatizzata delle configurazioni e può prevedere le prestazioni senza necessitare di esecuzioni esaustive.

3. Previsioni di sensibilità: Gli utenti ricevono informazioni su come l'interferenza potrebbe influenzare le prestazioni della loro applicazione in ambienti condivisi.

4. Riduzione dell'uso delle risorse: Utilizzando metriche di profilazione da esecuzioni parziali, lo strumento minimizza il sovraccarico associato alla raccolta dei dati di prestazione.

#Direzioni future

Sebbene il nostro strumento sia efficace per le applicazioni e i sistemi attualmente testati, c'è spazio per l'espansione. Il lavoro futuro potrebbe includere:

• Test più ampi: Valutare lo strumento su diversi tipi di applicazioni e sistemi come sistemi multi-nodo o sistemi con GPU.

• Miglioramento delle previsioni: Sviluppare metodi più avanzati per classificare applicazioni che sono più difficili da prevedere.

• Database delle impronte: Creare un repository che memorizzi le impronte per applicazioni già analizzate per evitare duplicazioni inutili in future previsioni.

#Conclusione

Scegliere il sistema e la configurazione giusti per eseguire le applicazioni rimane una sfida complessa. Il nostro strumento di previsione serve a semplificare questo processo offrendo intuizioni sul compromesso tra prestazioni e costi su più sistemi. Profilando solo poche configurazioni, fornisce agli utenti informazioni preziose basate sulle loro specifiche esigenze, migliorando così il loro processo decisionale. Man mano che espandiamo le capacità dello strumento e perfezioniamo i suoi metodi, puntiamo a supportare ulteriormente gli utenti nell'ottimizzare le prestazioni delle loro applicazioni e i costi in modo efficiente.