GALOIS: Un Nuovo Approccio al Processo dei Dati Edge

Con l'aumento dei dispositivi IoT, c'è una crescente necessità di gestire grandi quantità di dati provenienti da molte fonti. Questi dati spesso arrivano in forma di flussi che devono essere elaborati rapidamente, il che può essere una sfida significativa. Un modo per gestirli è attraverso i sistemi di Data Stream Processing on the Edge (DSPoE), che permettono di elaborare i dati più vicini al luogo in cui vengono generati invece di inviarli tutti a un server centrale. Tuttavia, questi sistemi affrontano problemi a causa dei diversi tipi di hardware e piattaforme, rendendo difficile gestirli in modo efficace.

#La Sfida degli Ambienti Diversi

Nelle fabbriche moderne, le macchine possono produrre dati a ritmi incredibilmente elevati. Ad esempio, durante un processo di stampaggio, una singola linea di produzione potrebbe generare dati a una velocità di 6 gigabit al secondo. Per dare un senso a questa enorme quantità di dati in fretta, è fondamentale condividerli e analizzarli tra diverse organizzazioni.

Tuttavia, la varietà di macchine e connessioni di rete in una fabbrica crea sfide nell'elaborazione dei dati. Inoltre, la necessità di risposte rapide ai problemi e di adattamento a diverse variazioni della linea di produzione aggiunge un ulteriore strato di complessità. I sistemi attuali, come Apache Storm o Twitter Heron, sono progettati per gestire grandi flussi di dati, ma funzionano meglio con risorse server uniformi, il che non è il caso nei reparti di produzione.

Quando i dati di varie macchine vengono inviati a un server centrale, possono verificarsi rallentamenti e ritardi che non sono accettabili per le applicazioni in tempo reale. Per risolvere questo, parte dell'elaborazione può essere effettuata più vicino alle fonti di dati – questo è noto come elaborazione edge. Questo approccio porta con sé le proprie sfide, tra cui connessioni di rete inaffidabili e una vasta gamma di capacità hardware.

#Introduzione a GALOIS

Per affrontare queste sfide, proponiamo una nuova architettura chiamata GALOIS. Questo sistema è progettato per funzionare attraverso diversi tipi di hardware, piattaforme e linguaggi di programmazione. Combina metodi delle reti peer-to-peer (P2P) e tradizionali configurazioni master-worker per migliorare la comunicazione tra i componenti del sistema.

Una delle caratteristiche uniche di GALOIS è l'uso di WebAssembly (Wasm), una tecnologia che consente al codice di funzionare in diversi ambienti senza bisogno di aggiustamenti specifici per ciascuno. Utilizzando Wasm, gli operatori in GALOIS possono essere leggeri, richiedendo meno risorse pur essendo comunque efficaci.

#Efficienza Energetica e Performance

I test hanno dimostrato che gli operatori in esecuzione in Wasm consumano meno energia e risorse CPU rispetto a quelli in esecuzione in Docker, una piattaforma popolare per la containerizzazione delle applicazioni. Questa differenza in efficienza rende GALOIS un'opzione promettente per i sistemi che elaborano dati in streaming al limite.

#Requisiti Chiave per un'Elaborazione Efficace

Affinché GALOIS funzioni bene in ambienti dinamici, doveva soddisfare diversi requisiti essenziali:

1. Esecuzione Indipendente dalla Piattaforma: Gli operatori dovrebbero funzionare su qualsiasi hardware o software senza restrizioni.
2. Elaborazione Diretta Edge: I dati dovrebbero fluire direttamente tra i dispositivi vicini, accelerando i tempi di risposta.
3. Gestione Consapevole della Rete: Il sistema dovrebbe tenere conto delle condizioni di rete per minimizzare i ritardi durante l'elaborazione dei dati.
4. Ottimizzazione Globale e Locale: Dovrebbero essere impiegate strategie globali e aggiustamenti locali per migliorare le performance senza sovraccaricare la rete.
5. Organizzazione Spaziale: Gli operatori dovrebbero essere raggruppati in base alla loro posizione fisica per ridurre i tempi di comunicazione.
6. Modifiche Decentralizzate: Le modifiche ai piani di query dovrebbero avvenire in modo indipendente, senza bisogno di fermare l'intero processo.
7. Tolleranza ai guasti: Il sistema dovrebbe continuare a fornire risultati anche se alcuni componenti falliscono.

Questi requisiti hanno guidato la progettazione dell'architettura GALOIS.

#Panoramica dell'Architettura

L'architettura di GALOIS è strutturata in modo da promuovere una comunicazione efficiente tra i diversi livelli. È composta da diversi componenti categorizzati in vari strati:

• Livello Cluster: Qui i nodi sono raggruppati in cluster. Ogni nodo può condividere dati con altri nel suo cluster.
• Manager di Regione: Questi supervisionano più cluster e aiutano a gestire la comunicazione tra di essi.
• Manager Globale: Questo componente gestisce l'ottimizzazione generale e la registrazione degli schemi.

Il sistema è progettato per cui, se un cluster incontra problemi, non si ferma l'intero processo. Invece, altri componenti possono subentrare o riorganizzarsi come necessario.

#Implementazione di GALOIS

Per mettere GALOIS in pratica, abbiamo creato un prototipo che può dimostrare le sue capacità. L'obiettivo principale era testare quanto bene Wasm si comporta rispetto a Docker nell'esecuzione degli operatori.

Due dispositivi Raspberry Pi sono stati utilizzati come nodi edge, simulando l'ambiente di elaborazione. Un computer separato ha funto da produttore di flussi di dati per testare come i dati fluiscono attraverso il sistema. Sono stati utilizzati misuratori di potenza per misurare il consumo energetico durante questi test.

L'obiettivo era vedere se Wasm potesse fornire performance migliori rispetto a Docker in termini di velocità di elaborazione, consumo energetico e efficienza complessiva.

#Risultati dei Test

Durante i test, abbiamo osservato alcuni risultati chiave:

• Tempo di Elaborazione: Gli operatori Wasm avevano costantemente tempi di elaborazione più bassi rispetto ai loro omologhi Docker.
• Consumo Energetico: L'energia utilizzata da Wasm era significativamente inferiore rispetto a quella utilizzata da Docker, specialmente man mano che aumentava il tasso di input dei dati.
• Carico CPU: Il carico CPU di Wasm era più basso, indicando che faceva un uso migliore della potenza di elaborazione disponibile.

Questi risultati suggeriscono che gli operatori Wasm sono un'opzione valida per l'elaborazione dei flussi di dati, in particolare in ambienti edge dove l'efficienza è cruciale.

#Confronto con Altri Sistemi

GALOIS si basa su lezioni apprese da sistemi DSPoE esistenti come NebulaStream e MobiStream. Anche se molti di questi sistemi si basano su un componente di controllo centrale, GALOIS combina metodi decentralizzati con gestione centralizzata per offrire sia flessibilità che scalabilità.

La maggior parte dei sistemi esistenti dipende da Java Virtual Machines, che possono limitare la flessibilità. GALOIS, con il suo uso di Wasm, presenta un'alternativa che potrebbe supportare vari linguaggi di programmazione e ambienti, rendendo più facile adattarsi a diverse situazioni.

#Direzioni Future

Nonostante i risultati promettenti finora, c'è ancora molto lavoro da fare per GALOIS. I futuri miglioramenti includono l'espansione della libreria di operatori disponibili in Wasm, l'integrazione del monitoraggio della qualità per una gestione delle query più dinamica e lo sviluppo di un prototipo più completo che abbracci tutti i livelli dell'architettura.

Affrontando i limiti intrinseci di Wasm, come la gestione di tipi di dati complessi e la necessità di codice aggiuntivo, GALOIS può fornire un framework robusto per l'elaborazione efficiente dei flussi di dati.

#Conclusione

GALOIS rappresenta un passo significativo nella gestione e nell'elaborazione di grandi volumi di dati dai dispositivi IoT in tempo reale. Utilizzando un'architettura ibrida e sfruttando i punti di forza di WebAssembly, affronta alcune delle sfide più grandi nell'elaborazione edge mentre garantisce flessibilità attraverso diverse piattaforme e linguaggi.

Man mano che i sistemi evolvono, GALOIS potrebbe stabilire un nuovo standard per il nostro approccio all'elaborazione dei flussi di dati in ambienti dinamici, aprendo la strada a pratiche di produzione e manifattura più intelligenti ed efficienti.