Trasformare Tabelle Non-Relazionali con Auto-Tables

Le tabelle sono un modo comune per presentare e organizzare i Dati. Nei database, le tabelle relazionali sono il formato standard dove ogni riga rappresenta un elemento unico e ogni colonna rappresenta un attributo di quell'elemento. Però, molte tabelle che troviamo nella vita reale-come quelle nei fogli di calcolo o sui siti web-non seguono questo formato strutturato. Uno studio ha scoperto che un numero significativo di queste tabelle, circa il 30% al 50%, non soddisfa le aspettative delle tabelle relazionali. Questo rende difficile analizzare i dati usando strumenti comuni che si basano su questi standard.

Quando gli utenti vogliono analizzare tabelle del genere, spesso devono trasformarle in un formato Relazionale. Sfortunatamente, questo processo può essere complicato e richiedere tempo, specialmente per chi non è un esperto tecnico. Molti utenti fanno fatica con questo, come si vede nei forum dove chiedono spesso aiuto su come ristrutturare le loro tabelle.

Per affrontare questo problema, abbiamo sviluppato un sistema che può cambiare automaticamente tabelle non relazionali in relazionali. Questo strumento semplifica il processo di preparazione dei dati per l'analisi, eliminando la necessità di programmazione manuale. Mira ad aiutare sia gli utenti tecnici, come i data scientist, sia quelli non tecnici, come i professionisti aziendali.

#Il Problema delle Tabelle Non Relazionali

Le tabelle non relazionali possono assumere molte forme. Ad esempio, in alcune tabelle, i dati sono organizzati orizzontalmente, con diversi attributi rappresentati da colonne che si estendono su più giorni. Questo layout può rendere facile per gli umani leggere le tendenze, ma complica l'analisi dei dati tramite query SQL, che si aspettano dati organizzati in modo uniforme.

Un esempio è una tabella delle vendite dove i dati delle vendite di ogni giorno sono in colonne separate. Per calcolare una media mobile su due settimane, un utente dovrebbe usare una query SQL lunga e complessa che fa riferimento a numerose colonne. Invece, se i dati fossero trasformati in un formato più adatto, lo stesso calcolo potrebbe essere eseguito con una semplice query che fa riferimento solo a una colonna di date.

Inoltre, tabelle diverse richiedono diversi tipi di Trasformazioni. Alcune tabelle potrebbero dover essere "impilate", mentre altre potrebbero richiedere una trasformazione "da larga a lunga". Questo rende il processo ancora più complesso, poiché gli utenti devono prima identificare la giusta trasformazione necessaria per ogni struttura unica della tabella.

#Tipi di Trasformazioni

Per convertire tabelle non relazionali in formati utilizzabili, identifichiamo diversi tipi di trasformazione comuni. Ognuno di questi tipi ha regole specifiche su come convertire i dati correttamente.

1. Impila: Questa trasformazione combina diverse colonne contigue in due nuove colonne. Ad esempio, colonne che rappresentano i dati delle vendite per più giorni possono essere accorpate in una singola colonna "data" e una colonna "vendite".

2. Da Larga a Lunga: Questa trasformazione viene usata quando ci sono gruppi di colonne ripetute, come diversi anni per i dati delle vendite. Ad esempio, "Entrate/Unità Vendute/Margine" ripetuto per diversi anni può essere trasformato in un formato più semplice usando solo una colonna per ogni attributo, insieme a una nuova colonna "Anno".

3. Trasponi: Questa trasformazione ruota righe e colonne. Nei casi in cui ogni hotel è rappresentato come una colonna con vari attributi elencati verticalmente, trasporre la tabella rende più facile analizzare usando SQL.

4. Pivot: Simile alla trasposizione, il pivot trasforma anche righe in colonne, ma tipicamente si occupa di gruppi di righe ripetute.

5. Altri Operatori: Ci sono ulteriori trasformazioni, come esplodere valori compositi in valori atomici, riempire celle vuote e creare colonne per sotto-titoli.

#Sfide che Gli Utenti Affrontano

Gli utenti affrontano diversi ostacoli quando cercano di eseguire queste trasformazioni. Devono:

• Riconoscere i diversi problemi strutturali nelle tabelle che le rendono difficili da analizzare.
• Mappare questi problemi ai metodi di trasformazione appropriati.
• Specificare con precisione i parametri corretti per quelle trasformazioni.

Questi compiti possono essere opprimenti, anche per qualcuno con competenze tecniche.

#La Nostra Soluzione: Auto-Tables

Per alleviare questo onere, abbiamo creato un sistema chiamato Auto-Tables. Questo strumento è progettato per riconoscere automaticamente le strutture delle tabelle non relazionali e suggerire le trasformazioni appropriate senza richiedere agli utenti di fornire esempi.

#Caratteristiche Chiave di Auto-Tables

• Nessun Input da Parte dell'Utente Necessario: La maggior parte degli strumenti esistenti richiede agli utenti di fornire almeno un esempio dell'output desiderato, il che può richiedere tempo e spesso porta a errori. Auto-Tables semplifica questo processo analizzando direttamente la tabella di input e prevedendo le trasformazioni necessarie.

• Framework di Auto-apprendimento: Il nostro sistema genera i propri dati di addestramento utilizzando relazioni inverse tra gli operatori di trasformazione. Ad esempio, se sappiamo come "impilare" una tabella, possiamo anche invertire quel processo per creare una tabella non relazionale da una relazionale. Questo ci permette di costruire un grande set di dati per addestrare il modello senza bisogno di input umano.

• Apprendimento Efficiente: Il meccanismo di apprendimento utilizzato in Auto-Tables è ispirato da tecniche utilizzate nella visione artificiale. Proprio come i modelli di visione artificiale possono riconoscere schemi nelle immagini, il nostro modello scansiona la struttura delle tabelle di input per cogliere indizi sottili che indicano le trasformazioni più adatte.

#L'Architettura di Auto-Tables

Il sistema Auto-Tables è composto da diversi componenti, ognuno dei quali gioca un ruolo cruciale nella sintesi delle trasformazioni.

1. Componente di Generazione Dati: Questo componente crea automaticamente una varietà di esempi di addestramento da tabelle relazionali esistenti applicando l'inverso degli operatori di trasformazione.

2. Modulo di Sintesi Solo Input: Questo modulo analizza la tabella di input e genera un elenco di potenziali trasformazioni.

3. Modulo di Riconfigurazione Input/Output: Dopo che le previsioni iniziali sono state fatte, questo modulo valuta i risultati in base alle caratteristiche delle tabelle di input e output per riordinare le previsioni per la trasformazione più accurata.

#Performance e Valutazione

Per valutare l'efficacia di Auto-Tables, abbiamo raccolto un set diversificato di casi da tabelle reali degli utenti trovate in fogli di calcolo e forum online. Abbiamo testato la capacità del sistema di trasformare queste tabelle e misurato le sue prestazioni rispetto ai metodi esistenti.

#Risultati

Nelle nostre valutazioni, Auto-Tables è stato in grado di sintetizzare correttamente trasformazioni per oltre il 70% dei casi di input in pochi secondi. Questa velocità e accuratezza lo rendono uno strumento prezioso per gli utenti che devono lavorare con dati complessi senza la frustrazione di una ristrutturazione manuale.

#Confronti con Altri Strumenti

Rispetto agli strumenti di trasformazione esistenti che richiedono esempi da parte degli utenti, Auto-Tables li ha superati notevolmente sia in velocità che in accuratezza. Mentre altri sistemi richiedono agli utenti di fornire esempi dettagliati, Auto-Tables funziona in modo autonomo, rendendolo più user-friendly ed efficiente.

#Conclusione

L'introduzione di Auto-Tables rappresenta un notevole passo avanti in come possiamo gestire e analizzare i dati in formati non relazionali. Rimuovendo i passaggi manuali tipicamente richiesti e sfruttando un approccio basato sull'apprendimento per identificare le trasformazioni necessarie, consentiamo a tutti gli utenti-indipendentemente dalle competenze tecniche-di preparare in modo efficiente i loro dati per l'analisi.

In futuro, ci sono piani per perfezionare ulteriormente Auto-Tables, permettendogli di gestire un numero ancora maggiore di tipi di trasformazione e potenzialmente applicare la sua metodologia ad altri compiti di manipolazione dei dati. Con la ricerca e lo sviluppo continui, Auto-Tables mira a semplificare e migliorare il processo di analisi dei dati per tutti.