Améliorer les recherches d'écrans d'appli mobile avec des croquis et du texte
Un nouveau système améliore les recherches d'écrans d'applications mobiles grâce à des croquis et des requêtes textuelles.
― 7 min lire
Table des matières
Chercher un écran d'appli mobile précis peut être galère. Souvent, les gens doivent se fier à des mots-clés sur des moteurs de recherche comme Google Image Search ou fournir une image complète de l'écran de l'appli. Les méthodes existantes ont leurs limites, surtout avec les croquis ou la reconnaissance du texte sur un écran. Cet article parle d'un nouveau système qui mélange croquis et requêtes textuelles pour rendre la recherche d'écrans d'appli mobile plus facile et précise.
Le Problème Avec les Méthodes Actuelles
En gros, chercher des exemples d'écrans d'appli mobile se fait souvent avec des mots-clés, ce qui est pas toujours efficace. Décrire la structure d'un écran juste avec des mots, c'est souvent galère. Les recherches basées sur des croquis essaient de pallier ça en permettant aux utilisateurs de dessiner des parties de l'écran. Mais ces solutions déconnent souvent sur la précision et oublient le texte qui peut apparaître à l'écran.
Les méthodes basées sur des croquis actuels peuvent ne pas reconnaitre certains éléments de l'interface correctement, surtout quand plusieurs boutons de texte se ressemblent. Il y a clairement un manque pour combiner les entrées de croquis avec des requêtes texte, ce qui améliorerait le Processus de recherche.
Le Besoin d'Outils Améliorés
Avec la popularité croissante des applis mobiles, il est crucial de concevoir des interfaces utilisateur qui répondent aux attentes. Un outil de recherche efficace pour les écrans d'appli mobile pourrait vraiment aider dans des domaines comme la collecte des besoins, l'analyse des tendances, l'évaluation des fonctionnalités, et encourager la créativité des développeurs. Un bon moteur de recherche d'écrans d'appli peut finalement bénéficier à la fois aux développeurs et aux utilisateurs.
Présentation de la Nouvelle Approche
Ce nouveau système combine croquis et saisie de texte pour rechercher des écrans mobiles. Il propose une interface de dessin qui permet aux utilisateurs de créer des images avec une souris ou un écran tactile. En plus de dessiner, les utilisateurs peuvent effectuer des recherches par mots-clés pour trouver des écrans d'appli plus efficacement.
Le système utilise une grande base de données d'écrans d'appli mobile pour récupérer des résultats pertinents. En permettant à la fois des gribouillis et des requêtes textuelles, le système peut offrir de meilleurs résultats de recherche par rapport aux méthodes actuelles.
Comment le Système Fonctionne
Les utilisateurs peuvent dessiner des icônes sur une toile numérique pour représenter des éléments d'un écran d'appli. Par exemple, si un utilisateur dessine une icône 'menu', le système va rapidement parcourir une base de données d'environ 58 000 écrans d'appli pour obtenir les meilleures correspondances.
Quand les utilisateurs dessinent ou ajoutent des requêtes textuelles, le système fournit des mises à jour en temps réel, montrant les écrans correspondants presque instantanément. La possibilité d'affiner les recherches en ajoutant plus de croquis ou de mots-clés améliore l'expérience de recherche globale.
Exemple de Recherche
Pour illustrer le processus, imaginons qu'un utilisateur veut trouver un écran d'appli mobile avec une icône 'menu'. Il commence par dessiner une représentation du menu sur la toile. Une fois terminé, l'outil recherche dans la base de données et affiche les meilleurs écrans correspondants en bas de la toile.
Après avoir obtenu les résultats initiaux, si l'utilisateur veut aussi trouver des écrans contenant une icône 'recherche', il peut simplement ajouter un gribouillis pour cet élément. Le système mettra à jour les résultats de recherche en conséquence, ne montrant que les écrans ayant à la fois les icônes 'menu' et 'recherche'.
Ensuite, l'utilisateur pourrait vouloir trouver des écrans contenant le texte 'Éditeur' placé en haut à gauche de l'écran. En tapant 'tl: Éditeur', les résultats de recherche se renouvellent pour montrer les écrans qui correspondent à ce placement de texte, ainsi que les icônes dessinées précédemment.
Mises à Jour en Temps Réel
Cette approche permet aux utilisateurs d'interagir en continu avec le système. Au fur et à mesure que les utilisateurs changent leurs requêtes, que ce soit en dessinant ou en ajoutant du texte, les résultats sont mis à jour en temps réel. Le système peut traiter ces entrées rapidement, offrant une expérience fluide où les utilisateurs peuvent affiner leurs recherches de manière itérative.
Évaluation du Système
Pour évaluer le système, les utilisateurs ont participé à des tests où ils ont essayé de trouver des écrans spécifiques en utilisant le nouvel outil. Les résultats ont montré que les utilisateurs récupéraient avec succès leurs écrans cibles un pourcentage significatif du temps. Les écrans cibles apparaissaient souvent sur la première page des résultats, prouvant l’efficacité de la combinaison de saisie texte et croquis.
Expérience Utilisateur
Les retours des utilisateurs ont souligné la simplicité et l’efficacité de l’outil. Les participants ont remarqué à quelle vitesse ils pouvaient trouver des écrans pertinents par rapport aux méthodes traditionnelles qui prenaient souvent beaucoup de temps et d’efforts.
Les utilisateurs ont apprécié la possibilité de dessiner et de chercher rapidement, ce qui a rendu les sessions plus agréables et productives. Beaucoup ont constaté qu'ils pouvaient atteindre les résultats désirés avec moins de croquis et moins de texte que ce qu'ils auraient normalement besoin avec d'autres systèmes.
Améliorations Techniques
L’efficacité de l’outil vient de ses capacités de reconnaissance intégrées pour les croquis et le texte. Cela implique l’utilisation d’algorithmes avancés pour identifier et classer les éléments dessinés par les utilisateurs. Le système peut comprendre les entrées des utilisateurs et ajuster sa recherche en fonction des données visuelles et textuelles.
Formation du Système
Le système a été formé sur un gros jeu de données d'écrans d'appli et de gribouillis, ce qui lui permet de reconnaître précisément des éléments d'interface communs. En comprenant comment les utilisateurs dessinent différents icônes, le système peut mieux faire correspondre les croquis aux écrans d’appli réels.
Le processus de formation implique l’utilisation de nombreux dessins d’exemples pour construire une référence sur à quoi ressemblent divers éléments d’interface. Ensuite, le système peut identifier ces éléments dans les dessins faits par les utilisateurs, menant à des résultats de recherche plus précis.
Avantages du Nouveau Système
En intégrant la recherche de texte et de croquis, ce système offre plusieurs avantages :
Vitesse : Les utilisateurs bénéficient de temps de récupération plus rapides, le système offrant souvent des résultats en quelques secondes après la soumission d'une requête.
Précision : La combinaison de visuels et de texte permet des recherches plus précises. Les utilisateurs peuvent localiser les écrans plus facilement qu'avec des recherches basées uniquement sur des mots-clés.
Convivialité : La nature interactive de l'outil facilite l'engagement des utilisateurs dans le processus de recherche. Ils peuvent affiner leurs requêtes sans avoir à recommencer à zéro à chaque fois.
Mises à Jour Fréquentes : Le système met continuellement à jour et améliore sa base de données, garantissant que les utilisateurs aient accès aux informations les plus pertinentes et précises.
Conclusion
La nouvelle approche de recherche d'écrans d'appli mobile utilisant à la fois des croquis et des saisies de texte représente une avancée significative dans ce domaine. En surmontant les limites des méthodes traditionnelles, l'outil offre un moyen plus efficace et précis de localiser des écrans d’appli.
Avec la popularité croissante des applications mobiles, des outils comme celui-ci aideront les développeurs et les designers à créer des interfaces utilisateur qui correspondent mieux aux besoins des utilisateurs. La capacité de rechercher dans d'énormes bases de données d'écrans d'appli mobile en utilisant des méthodes intuitives peut mener à des processus de conception plus efficaces et finalement à de meilleures expériences utilisateur.
Titre: Searching Mobile App Screens via Text + Doodle
Résumé: Locating a specific mobile application screen from existing repositories is restricted to basic keyword searches, such as Google Image Search, or necessitates a complete query screen image, as in the case of Swire. However, interactive partial sketch-based solutions like PSDoodle have limitations, including inaccuracy and an inability to consider text appearing on the screen. A potentially effective solution involves implementing a system that provides interactive partial sketching functionality for efficiently structuring user interface elements. Additionally, the system should incorporate text queries to enhance its capabilities further. Our approach, TpD, represents the pioneering effort to enable an iterative search of screens by combining interactive sketching and keyword search techniques. TpD is built on a combination of the Rico repository of approximately 58k Android app screens and the PSDoodle. Our evaluation with third-party software developers showed that PSDoodle provided higher top-10 screen retrieval accuracy than state-of-the-art Swire and required less time to complete a query than other interactive solutions.
Auteurs: Soumik Mohian, Christoph Csallner
Dernière mise à jour: 2023-05-11 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2305.06165
Source PDF: https://arxiv.org/pdf/2305.06165
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.