Présentation du Dataset Papt pour le développement d'interface graphique

Les smartphones et les Tablettes sont devenus courants dans la vie quotidienne. Les gens utilisent leurs Téléphones pour différentes tâches, comme le gaming, tandis que les tablettes sont souvent utilisées pour regarder des films. Pour capter l'attention du public, de nombreuses applis proposent des versions pour téléphones et tablettes. Cependant, même si ces Applications ont des designs et des fonctionnalités similaires, les développeurs créent généralement des versions séparées pour les tablettes. Cette approche augmente les coûts de développement et gaspille des ressources de conception.

Pour améliorer l'efficacité des développeurs, les chercheurs explorent l'utilisation de l'apprentissage profond pour le développement automatique des interfaces. Des ensembles de données de haute qualité sont essentiels pour entraîner ces modèles d'apprentissage profond. Bien qu'il existe de nombreux ensembles de données pour les interfaces de téléphones, il n'y en a pas pour comparer les interfaces de téléphones et de tablettes, ce qui représente un défi majeur pour le développement automatisé.

En réponse à ce besoin, nous avons créé l'ensemble de données Papt. Cet ensemble contient des paires de pages d'interfaces provenant de téléphones et de tablettes Android. Il comprend 10 035 paires dérivées de 5 593 paires d'applis. Les méthodes de collecte de l'ensemble de données et l'analyse statistique sont expliquées, mettant en avant ses avantages par rapport à d'autres ensembles de données disponibles.

#Importance de la conception des interfaces

Les applis mobiles sont partout, servant à diverses tâches quotidiennes comme la lecture, les discussions et la banque. Les smartphones et les tablettes prennent en charge la majorité de ces applis. Comme de nombreuses applis sont disponibles dans les deux formats, leurs designs se ressemblent souvent. Un design d'interface cohérent entre les appareils aide les utilisateurs à réduire la courbe d'apprentissage pour interagir avec l'appli.

Automatiser les tâches de développement des interfaces, comme convertir des designs de téléphones à tablettes ou recommander des mises en page, attire de plus en plus l'attention dans l'industrie et le milieu académique. Cependant, le domaine est confronté à d'importants défis.

D'abord, il y a un manque de bons ensembles de données pour former des modèles d'apprentissage profond axés sur le développement d'interfaces. Les ensembles de données actuels incluent généralement seulement des pages d'interface uniques sans les comparaisons nécessaires à la formation de modèles efficaces.

Ensuite, collecter des pages d'interface pour les téléphones et les tablettes demande beaucoup de travail. Bien que certains outils aident à collecter des données à partir d'appareils uniques, aligner le contenu pour les deux formats peut être difficile à cause des différences de tailles d'écran et de mises en page.

#Création de l'ensemble de données Papt

Pour répondre à ces défis, nous avons créé l'ensemble de données Papt, qui est le premier du genre pour comparer les interfaces de téléphones et de tablettes. L'ensemble comprend 10 035 paires d'interfaces téléphones-tablettes valides collectées à partir de 5 593 paires d'applis. Nous allons décrire notre méthode de collecte de données et les outils que nous avons développés pour cela.

#Source des données

Au départ, nous avons rassemblé 6 456 applis pour tablettes depuis Google Play et les avons associées avec leurs applis de téléphone correspondantes basées sur les noms et les développeurs des applis. Ce processus a abouti à 5 593 paires d'applis téléphones-tablettes valides, réparties dans diverses catégories comme le divertissement et la communication.

#Processus de collecte de données

Le processus de collecte de données a été divisé en deux étapes. La première étape a consisté à utiliser des algorithmes pour associer automatiquement les interfaces correspondantes des téléphones et des tablettes. La deuxième étape a impliqué une validation manuelle pour garantir l'exactitude de ces paires.

Nous avons utilisé deux méthodes pour collecter des données. La première méthode consistait à ajuster la résolution des appareils pour correspondre aux mises en page des téléphones et des tablettes. La seconde méthode se concentrait sur la comparaison des similitudes d'interface.

#Correspondance des interfaces par résolution d'appareil

Android prend en charge des mises en page réactives, permettant aux applis de s'adapter à différentes tailles d'écran. Nous avons identifié les applis de notre ensemble qui partagent des fichiers de mise en page pour tablettes et téléphones. Pour ces applis, nous avons utilisé des commandes pour ajuster la résolution de l'appareil et avons collecté des captures d'écran avant et après les ajustements.

#Correspondance des interfaces par similarité

Pour les applis sans fichiers de mise en page partagés, nous avons comparé les interfaces de manière dynamique en analysant leurs similitudes. L'activité de chaque appli représentait la fenêtre où l'interface de l'appli est affichée. Nous avons associé les activités correspondantes entre les applis de téléphone et de tablette et analysé leurs attributs pour les apparier correctement.

#Validation manuelle

Après le rapprochement automatique, nous avons fait vérifier manuellement les paires collectées par trois développeurs. Ils ont passé en revue chaque paire en fonction de la fiabilité des données et de la rationalité des paires. Cette étape était cruciale pour éliminer les erreurs de la collecte de données initiale.

#Outils de collecte de données

Nous avons développé deux outils pour aider dans le processus de collecte de données : un pour ajuster les résolutions et un autre pour évaluer les similarités d'interface. Ces outils simplifient le processus de collecte et facilitent la création d'ensembles de données similaires par d'autres chercheurs à l'avenir.

#Format de l'ensemble de données

Chaque paire d'interfaces de l'ensemble est organisée dans un format spécifique. Chaque paire contient une capture d'écran de l'interface téléphone, ses métadonnées associées, une capture d'écran de l'interface tablette, et les métadonnées de la tablette. Cette organisation aide les utilisateurs à accéder et à comprendre facilement les données.

#Distribution des types d'affichage UI

Dans notre ensemble, différents types de composants d'interface ont été analysés. Les types de vues les plus courants comprenaient des composants de texte et d'image, qui sont essentiels pour présenter des informations. Les boutons étaient également fréquemment observés, soulignant comment les utilisateurs interagissent principalement avec les interfaces par des clics.

#Distribution de la similarité des paires d'interfaces

Nous avons examiné les similarités entre les interfaces de téléphones et de tablettes. La plupart des paires ont montré un score de similarité entre 0,5 et 0,7 en raison des différences de tailles d'écran. Ce score indique que, bien qu'il y ait des similarités, les mises en page nécessitent des ajustements pour répondre aux spécifications des tablettes.

#Accès à l'ensemble de données

L'ensemble est disponible pour un usage public sous des accords de licence spécifiques. Les utilisateurs peuvent trouver des paires organisées par noms d'applis ou noms de paquets. Chaque dossier contient tous les éléments mentionnés précédemment, ce qui permet d'accéder et d'analyser facilement les données.

#Comparaison avec les ensembles de données existants

Comparé à d'autres ensembles d'interfaces disponibles, l'ensemble de données Papt se distingue. Il contient des interfaces appariées qui permettent un entraînement approprié de modèles d'apprentissage profond visant des tâches comme la conversion d'interfaces, la récupération et la recommandation. Notre ensemble comble des lacunes significatives actuellement présentes dans d'autres ensembles de données.

#Expérimentations préliminaires

Pour démontrer les fonctionnalités de l'ensemble de données Papt, nous avons réalisé des expériences axées sur deux tâches principales : la conversion d'interfaces et la récupération d'interfaces. Nous avons utilisé des modèles à la pointe de la technologie pour ces tâches et analysé leur performance.

#Tâche de conversion d'interfaces

L'objectif de la tâche de conversion d'interfaces est de générer automatiquement une interface tablette basée sur une mise en page de téléphone existante. Pour cela, nous avons utilisé des modèles comme LayoutTransformer, LayoutGAN et LayoutVAE. Chaque modèle a été évalué en fonction de sa capacité à générer des mises en page utilisables.

#Tâche de récupération d'interfaces

La tâche de récupération d'interfaces vise à trouver le design de tablette le plus pertinent basé sur un design de téléphone. Nous avons exploré diverses méthodes pour y parvenir, y compris la récupération d'images classique et des cadres basés sur des réseaux de neurones comme Rico et WAE. Ces modèles ont été évalués à l'aide de mesures telles que la précision et le rang réciproque moyen.

#Métriques d'évaluation

Pour les deux tâches, nous avons utilisé des métriques spécifiques pour évaluer la performance des modèles. Pour la conversion d'interfaces, nous avons examiné la qualité et la diversité des mises en page générées. Dans la récupération d'interfaces, nous nous sommes concentrés sur la précision et le rang des résultats pertinents.

#Résultats

Les résultats préliminaires indiquent que, bien que certains modèles aient bien performé, il reste encore des améliorations à apporter. L'évaluation a mis en évidence qu'un petit pourcentage seulement des composants d'interface correspondait avec succès entre les mises en page de tablette générées et leurs vérités de terrain.

#Conclusion

En résumé, nous avons présenté une analyse complète de l'ensemble de données Papt créé pour le développement d'interfaces entre les téléphones et les tablettes Android. Nous avons expliqué le processus de collecte de l'ensemble et mis en avant ses caractéristiques uniques par rapport aux ensembles de données existants. Les expériences préliminaires ont démontré son potentiel à faciliter le développement automatisé d'interfaces, mais des recherches supplémentaires sont nécessaires pour améliorer les modèles utilisés dans les tâches de conversion et de récupération d'interfaces.

En rendant cet ensemble de données accessible, nous espérons encourager davantage de chercheurs à se plonger dans le domaine du développement automatisé d'UI et à créer des solutions innovantes. Le chemin à suivre est prometteur, et nous prévoyons de voir davantage d'avancées grâce aux connaissances acquises en utilisant l'ensemble de données Papt.