Variabilità nei sistemi software AI a causa delle configurazioni ambientali

Con l'aumento dell'Intelligenza Artificiale (AI), soprattutto del Machine Learning (ML), molti programmi software stanno ora utilizzando questi modelli. I sistemi software sono spesso complicati e, poiché i modelli ML si basano sulla probabilità, affrontano incertezze. Questa combinazione di complessità software e imprevedibilità dei modelli ML può portare a Variabilità. Questo significa che il software potrebbe comportarsi in modo diverso a seconda delle impostazioni dell'ambiente di sviluppo o di runtime, anche se il codice e i dati sottostanti rimangono invariati.

Nella realtà, gli ambienti per sviluppare e distribuire software di solito non sono gli stessi. Pertanto, è fondamentale sapere come un modello ML possa comportarsi in modo diverso una volta distribuito rispetto alla sua fase di sviluppo. Ad esempio, se un sistema di riconoscimento facciale ha un certo punteggio durante lo sviluppo, quel punteggio potrebbe non essere ripetuto in un nuovo ambiente. È essenziale testare il sistema in diverse impostazioni prima che vada in produzione per vedere se le Prestazioni cambiano significativamente.

La comunità di ricerca sta cominciando a concentrarsi su questi problemi, esaminando come le incertezze legate ai sistemi software basati su AI influenzano le diverse fasi dello sviluppo software. Queste fasi includono la raccolta dei requisiti, il testing del software, la garanzia di qualità e la distribuzione del software.

Le impostazioni ambientali spesso differiscono durante il ciclo di sviluppo software. Gli sviluppatori prendono decisioni basate sulle loro esperienze o sulle esigenze del business, il che può portare a diversi livelli di prestazioni per i modelli AI o ML. Tuttavia, nessuna ricerca attuale esamina completamente come le diverse configurazioni ambientali possano influenzare la variabilità nei software basati su AI. Questo documento mira a colmare questa lacuna affrontando diverse domande di ricerca specifiche.

I risultati complessivi mostrano che le impostazioni di configurazione portano a variabilità, ma l'estensione varia da un progetto all'altro. La variabilità è più frequentemente osservata nel Tempo di elaborazione e nei costi piuttosto che nelle metriche di prestazione. Trovare le migliori impostazioni di configurazione per un progetto tende a essere un processo continuo. Gli sviluppatori dovrebbero costruire e testare i loro sistemi in varie impostazioni per trovare il miglior ambiente per le loro esigenze.

#Contributi di Questo Studio

Questa ricerca offre diversi spunti preziosi:

1. Questo è il primo studio empirico che guarda alla variabilità nei sistemi basati su AI dal punto di vista delle configurazioni ambientali.
2. Forniamo dati concreti su come le diverse impostazioni ambientali impattano i sistemi basati su AI.
3. Condividiamo i nostri dati e script affinché altri possano verificarli e costruire sopra di essi in future ricerche.

#Struttura del Documento

Il documento procede come segue: Prima descriviamo il contesto e i metodi di ricerca utilizzati. Successivamente, vengono presentati i risultati e i suggerimenti per ciascuna domanda di ricerca. Dopo, segue una discussione e potenziali minacce alla validità dei nostri risultati, insieme a uno sguardo alla ricerca esistente. Infine, riassumiamo le nostre scoperte e suggeriamo possibili direzioni per future ricerche.

#Metodologia e Contesto

Per i nostri esperimenti, avevamo bisogno di diverse configurazioni ambientali di sviluppo, quindi abbiamo usato Travis CI, una piattaforma di Integrazione Continua (CI) comunemente usata. Travis CI è popolare tra gli sviluppatori di software open-source per costruire sistemi basati su AI.

#Configurazioni Ambientali in Travis CI

Nel nostro studio, abbiamo sperimentato tre principali variabili di configurazione:

1. Sistema Operativo: Abbiamo esaminato Linux, MacOS e Windows. All'interno di Linux, abbiamo testato tre versioni: Ubuntu-Xenial, Ubuntu-Bionic e Ubuntu-Focal.
2. Architettura CPU: Ci siamo concentrati su AMD64 e ARM64. Queste due architetture sono spesso confrontate in vari studi, ma poco è stato fatto riguardo al loro impatto sulla variabilità del software AI.
3. Versione di Python: Abbiamo testato le versioni 3.6, 3.7 e 3.8 di Python. Questa scelta ci ha permesso di confrontare versioni più vecchie e più recenti per vedere come influenzano le prestazioni.

Per semplicità, abbiamo confrontato tutte le impostazioni con una configurazione di base, definita come Linux con Ubuntu-Xenial, architettura AMD64 e Python 3.7. Abbiamo impostato un totale di sette configurazioni ambientali basate su queste variabili.

#Panoramica dei Progetti Utilizzati in Questo Studio

Abbiamo raccolto un dataset da applicazioni AI open-source su GitHub. Questo dataset contiene progetti che utilizzano principalmente Travis CI e sono scritti in Python, un linguaggio popolare per le soluzioni AI e ML. Abbiamo costruito e eseguito questi progetti su Travis CI. Ogni progetto può avere tre risultati:

1. Errore: Almeno un job incontra problemi durante la configurazione.
2. Fallito: Almeno un job riscontra un problema durante l'esecuzione degli script.
3. Superato: Tutti i job si completano con successo.

Poiché il nostro obiettivo era studiare la variabilità, era fondamentale che tutti i progetti potessero essere costruiti con successo sotto tutte le configurazioni. Tuttavia, molti progetti non erano progettati per funzionare su tutti i principali sistemi operativi o configurazioni. Abbiamo incluso solo progetti che sono stati superati con successo in tutte le impostazioni.

#Analisi della Variabilità

#Metriche di Valutazione

Il successo dei sistemi basati su AI nella risoluzione di problemi del mondo reale è legato alla loro accuratezza. Con dati di migliore qualità, ci si aspetta che questi sistemi migliorino nel tempo. I fattori chiave che determinano la loro utilità sono le prestazioni e il tempo di elaborazione. Poiché i sistemi AI sono basati su dati esistenti, eventuali cambiamenti in quei dati possono influenzare le prestazioni, il che significa che spesso sono necessari nuovi addestramenti.

Ci sono tre fattori principali che abbiamo esaminato nella nostra analisi di variabilità:

1. Prestazioni: Questo è misurato da quanto bene funziona il modello AI, spesso rappresentato da punteggi specifici come l'F1-score per la classificazione.
2. Tempo di Elaborazione: Questo è il tempo totale impiegato per eseguire un progetto in un dato ambiente, inclusa la configurazione e l'esecuzione.
3. Spesa: Questo è il costo associato all'esecuzione del progetto su Travis CI, che varia a seconda del sistema operativo utilizzato.

Sebbene tempo e costo siano correlati, non hanno sempre la stessa scala. Un progetto potrebbe richiedere un po' più di tempo su un sistema ma potrebbe costare significativamente di più, il che rende fondamentale considerarli separatamente.

#Analisi dei Risultati

Abbiamo effettuato più esecuzioni per ciascun progetto sotto ogni configurazione per ottenere una distribuzione affidabile dei risultati. Questo approccio ci ha aiutato a capire come le prestazioni variano a causa dei fattori ambientali.

#RQ1: Impatto dei Sistemi Operativi

La nostra prima domanda di ricerca guardava a come i sistemi operativi influenzano la variabilità nei sistemi AI. Abbiamo confrontato Linux, MacOS e Windows, concentrandoci su come i cambiamenti in questi sistemi impattano prestazioni, tempo di elaborazione e costi.

La maggior parte dei progetti ha mostrato cambiamenti in tutte le metriche a causa dei sistemi operativi, ma una significativa variabilità delle prestazioni era meno comune. Le prestazioni sono leggermente migliorate su MacOS rispetto a Linux, mentre Windows ha generalmente mostrato prestazioni inferiori. Tuttavia, i costi e i tempi di elaborazione erano sempre più alti su MacOS e Windows rispetto a Linux.

#RQ2: Influenza delle Versioni di Python

Successivamente, abbiamo esaminato come la versione di Python utilizzata influisce sulla variabilità. La maggior parte dei progetti ha mostrato alcune variazioni tra le versioni di Python, ma non tutte erano statisticamente significative. Differenze significative sono state trovate principalmente confrontando Python 3.7 e Python 3.8, influenzando sia il tempo di elaborazione che i costi.

#RQ3: Variabilità dell'Architettura CPU

Infine, abbiamo analizzato la variabilità legata all'architettura CPU confrontando AMD64 e ARM64. La maggior parte dei progetti ha mostrato cambiamenti notevoli nel tempo di elaborazione e nei costi, con ARM64 che generalmente mostrava prestazioni peggiori e costi più elevati rispetto ad AMD64.

#Conclusione

I componenti AI sono ormai centrali per molte soluzioni software. La nostra analisi rivela che esiste variabilità nelle prestazioni, nel tempo di elaborazione e nei costi, anche se questo varia da progetto a progetto. La variabilità è più frequentemente vista nei tempi di elaborazione e nei costi piuttosto che nelle prestazioni. Questo implica che gli sviluppatori dovrebbero testare i componenti AI attraverso diverse configurazioni per trovare l'impostazione più efficiente. Dato che le soluzioni basate su AI necessitano di frequenti ritraining, l'impatto del tempo di elaborazione e dei costi non dovrebbe essere trascurato.

Ci rendiamo conto che valutare la variabilità attraverso diverse impostazioni ambientali può allungare i tempi di sviluppo. Tuttavia, questo passaggio può risparmiare tempo e denaro nel lungo termine, aumentando l'efficienza e l'affidabilità del prodotto finale.

#Minacce alla Validità

Diverse preoccupazioni riguardanti la validità influenzano i nostri risultati. La validità interna si riferisce ai compiti esemplari usati, poiché potrebbero non rappresentare i livelli reali di variabilità in ciascun progetto. La validità esterna è limitata perché il nostro studio campiona solo un numero finito di configurazioni e potrebbe non rappresentare tutte le impostazioni possibili.

#Lavori Correlati

La variabilità nei sistemi AI ha guadagnato attenzione, ma questo studio è il primo a indagare specificamente come le configurazioni ambientali influenzano questa variabilità. Lavori precedenti hanno esaminato altri aspetti dell'AI e della variabilità software, ma non hanno quantificato la variabilità legata alle impostazioni di configurazione nel modo in cui abbiamo fatto noi.

#Direzioni Future

Guardando avanti, suggeriamo di studiare come diverse configurazioni portino alle variabilità osservate. Comprendere il motivo per cui si verificano queste variabilità può fornire ulteriori spunti e metodi per minimizzarle. Un'altra area da esplorare sarebbe prevedere la variabilità senza dover effettuare ampi test di diverse configurazioni. Questo potrebbe semplificare significativamente gli sforzi di sviluppo pur mantenendo la qualità del software.