Presentiamo il Papt Dataset per lo sviluppo di interfacce grafiche

Gli smartphone e i Tablet sono ormai ovunque nella vita di tutti i giorni. La gente usa i telefoni per vari compiti, come giocare, mentre i tablet vengono spesso utilizzati per guardare film. Per attirare il pubblico, molte App offrono versioni sia per telefoni che per tablet. Tuttavia, anche se queste app hanno design e funzionalità simili, gli sviluppatori di solito creano versioni separate per i tablet. Questo approccio alza i costi di sviluppo e spreca risorse di design.

Per migliorare l'efficienza degli sviluppatori, i ricercatori stanno studiando l'uso del deep learning per lo sviluppo automatico delle GUI. Dataset di alta qualità sono essenziali per addestrare questi modelli di deep learning. Anche se ci sono molti dataset per le GUI dei telefoni, non ce ne sono per confrontare quelle di telefoni e tablet, il che rappresenta una grande sfida per lo sviluppo automatico.

In risposta a questa necessità, abbiamo creato il dataset Papt. Questo dataset consiste in coppie di pagine GUI provenienti da telefoni e tablet Android. Contiene 10.035 coppie derivate da 5.593 coppie di app. I metodi di raccolta del dataset e l'analisi statistica sono spiegati, evidenziando i suoi vantaggi rispetto ad altri dataset disponibili.

#Importanza del Design della GUI

Le app mobili sono ovunque, svolgendo vari compiti quotidiani come leggere, chattare e fare banca. Smartphone e tablet supportano la maggior parte di queste app. Dato che molte app sono disponibili in entrambi i formati, i loro design spesso si somigliano. Un design della GUI coerente tra i dispositivi aiuta gli utenti riducendo la curva di apprendimento su come interagire con l'app.

Automatizzare i compiti di sviluppo delle GUI, come convertire i design da telefoni a tablet o raccomandare layout, sta guadagnando attenzione sia nell'industria che nell'accademia. Tuttavia, il campo affronta sfide significative.

Innanzitutto, c'è una mancanza di dataset di qualità per addestrare modelli di deep learning focalizzati sullo sviluppo delle GUI. I dataset attuali di solito includono solo singole pagine GUI senza i confronti necessari per addestrare modelli efficaci.

In secondo luogo, raccogliere pagine GUI per telefoni e tablet è laborioso. Anche se alcuni strumenti aiutano a raccogliere dati da singoli dispositivi, allineare i contenuti per entrambi i formati può essere difficile a causa delle differenze nelle dimensioni e nei layout degli schermi.

#Creazione del Dataset Papt

Per affrontare queste sfide, abbiamo creato il dataset Papt, che è il primo del suo genere per confrontare le GUI di telefoni e tablet. Il dataset ha 10.035 coppie valide di GUI Telefono-tablet raccolte da 5.593 coppie di app. Descriveremo il nostro metodo di raccolta dati e gli strumenti che abbiamo sviluppato a questo scopo.

#Fonte dei Dati

Inizialmente, abbiamo raccolto 6.456 app per tablet da Google Play e le abbiamo abbinate alle loro app corrispondenti per telefoni basandoci sui nomi delle app e sugli sviluppatori. Questo processo ha portato a 5.593 coppie valide di app telefono-tablet, distribuite in varie categorie come intrattenimento e comunicazione.

#Processo di Raccolta Dati

Il processo di raccolta dati è stato diviso in due fasi. La prima fase ha coinvolto l'uso di algoritmi per abbinare automaticamente le GUI corrispondenti da telefoni e tablet. La seconda fase ha riguardato la validazione manuale per garantire l'accuratezza di queste coppie.

Abbiamo utilizzato due metodi per raccogliere i dati. Il primo metodo ha comportato l'aggiustamento della risoluzione dei dispositivi per corrispondere ai layout di telefoni e tablet. Il secondo metodo si è concentrato sul confronto delle somiglianze dell'interfaccia utente.

#Abbinamento delle GUI per Risoluzione del Dispositivo

Android supporta layout reattivi, consentendo alle app di adattarsi a diverse dimensioni dello schermo. Abbiamo identificato app nel nostro dataset che condividono file di layout per tablet e telefoni. Per queste app, abbiamo usato comandi per regolare la risoluzione del dispositivo e raccogliere screenshot prima e dopo le regolazioni.

#Abbinamento delle GUI per Somiglianza

Per le app senza file di layout condivisi, abbiamo confrontato le GUI dinamicamente analizzando le loro somiglianze. L'attività di ciascuna app rappresentava la finestra in cui viene visualizzata la GUI dell'app. Abbiamo abbinato le attività corrispondenti tra le app per telefono e tablet e analizzato i loro attributi per abbinarle correttamente.

#Validazione Manuale

Dopo l'abbinamento automatico, tre sviluppatori hanno verificato manualmente le coppie raccolte. Hanno esaminato ogni coppia in base all'affidabilità dei dati e alla razionalità delle coppie. Questo passaggio è stato cruciale per eliminare eventuali errori dalla raccolta dati iniziale.

#Strumenti di Raccolta Dati

Abbiamo sviluppato due strumenti per aiutare nel processo di raccolta dati: uno per regolare le risoluzioni e un altro per valutare le somiglianze delle GUI. Questi strumenti semplificano il processo di raccolta e rendono più facile per altri ricercatori creare dataset simili in futuro.

#Formato del Dataset

Ogni coppia di GUI nel dataset è organizzata in un formato specifico. Ogni coppia contiene uno screenshot della GUI del telefono, i suoi metadati associati, uno screenshot della GUI del tablet e i metadati del tablet. Questa organizzazione aiuta gli utenti ad accedere e comprendere facilmente i dati.

#Distribuzione dei Tipi di Visualizzazione UI

Nel nostro dataset sono stati analizzati diversi tipi di componenti UI. I tipi di visualizzazione più comuni includevano componenti di testo e immagine, che sono essenziali per presentare informazioni. Anche i pulsanti sono stati frequentemente osservati, evidenziando come gli utenti interagiscono principalmente con le GUI tramite clic.

#Distribuzione della Somiglianza delle Coppie GUI

Abbiamo esaminato le somiglianze tra le GUI di telefoni e tablet. La maggior parte delle coppie mostrava un punteggio di somiglianza tra 0,5 e 0,7 a causa delle differenze nelle dimensioni degli schermi. Questo punteggio indica che, sebbene ci siano somiglianze, i layout richiedono aggiustamenti per soddisfare le specifiche del tablet.

#Accesso al Dataset

Il dataset è disponibile per uso pubblico sotto specifici accordi di licenza. Gli utenti possono trovare coppie organizzate per nomi delle app o nomi dei pacchetti. Ogni cartella contiene tutti gli elementi menzionati in precedenza, facilitando l'accesso e l'analisi dei dati.

#Confronto con Dataset Esistenti

Rispetto ad altri dataset di GUI disponibili, il dataset Papt si distingue. Contiene GUI abbinate che consentono un adeguato addestramento di modelli di deep learning mirati a compiti come conversione, recupero e raccomandazione di GUI. Il nostro dataset affronta significative lacune attualmente presenti in altri dataset.

#Esperimenti Preliminari

Per dimostrare la funzionalità del dataset Papt, abbiamo condotto esperimenti focalizzati su due compiti principali: conversione delle GUI e recupero delle GUI. Abbiamo utilizzato modelli all'avanguardia per questi compiti e analizzato le loro performance.

#Compito di Conversione delle GUI

L'obiettivo del compito di conversione delle GUI è generare automaticamente un'interfaccia per tablet basata su un layout esistente per telefoni. Per questo, abbiamo utilizzato modelli come LayoutTransformer, LayoutGAN e LayoutVAE. Ogni modello è stato valutato in base alla sua capacità di generare layout utilizzabili.

#Compito di Recupero delle GUI

Il compito di recupero delle GUI mira a trovare il design per tablet più rilevante basato su un design per telefoni. Abbiamo esplorato vari metodi per raggiungere questo obiettivo, incluso il recupero classico delle immagini e framework basati su reti neurali come Rico e WAE. Questi modelli sono stati valutati utilizzando metriche come precisione e rango medio reciproco.

#Metriche di Valutazione

Per entrambi i compiti, abbiamo utilizzato metriche specifiche per valutare le performance dei modelli. Per la conversione delle GUI, ci siamo concentrati sulla qualità e sulla diversità dei layout generati. Nel recupero delle GUI, ci siamo focalizzati sulla precisione e sul rango dei risultati pertinenti.

#Risultati

I risultati preliminari indicano che, mentre alcuni modelli hanno performato bene, c'è ancora margine di miglioramento. La valutazione ha evidenziato che solo una piccola percentuale di componenti UI ha corrisposto con successo tra i layout generati per tablet e le loro verità di base.

#Conclusione

In sintesi, abbiamo presentato un'analisi completa del dataset Papt creato per lo sviluppo delle GUI tra telefoni e tablet Android. Abbiamo spiegato il processo di raccolta del dataset e messo in evidenza le sue caratteristiche uniche rispetto ai dataset esistenti. Gli esperimenti preliminari hanno dimostrato il suo potenziale nel facilitare lo sviluppo automatico delle GUI, ma è necessaria ulteriore ricerca per migliorare i modelli utilizzati sia nei compiti di conversione che di recupero delle GUI.

Rendendo questo dataset accessibile, speriamo di incoraggiare più ricercatori a immergersi nel campo dello sviluppo automatico dell'interfaccia utente e creare soluzioni innovative. Il futuro appare promettente e ci aspettiamo di vedere ulteriori progressi guidati dalle intuizioni ottenute dall'uso del dataset Papt.