Comparer les moteurs de recherche traditionnels et ceux basés sur des LLM pour la géolocalisation d'images

Les moteurs de recherche sur le web ont été super importants pour aider les gens à trouver des infos en ligne. Les gens ont développé des façons spécifiques de poser des questions et de chercher ce dont ils ont besoin. Récemment, des moteurs de recherche alimentés par de grands modèles de langage (LLM) ont commencé à proposer une façon plus conversationnelle de chercher et différentes manières de poser des questions.

Ce travail examine comment les moteurs de recherche traditionnels se comparent aux moteurs de recherche basés sur LLM pour la tâche de déterminer où une photo a été prise, connue sous le nom de géolocalisation d'images. L'étude se concentre sur la façon dont les utilisateurs interagissent avec ces moteurs de recherche et leurs différentes manières de poser des questions. Un groupe de 60 participants a été divisé en deux groupes, l'un utilisant un moteur de recherche traditionnel et l'autre utilisant un moteur de recherche basé sur LLM. Les résultats ont montré que ceux qui utilisaient le moteur de recherche traditionnel étaient meilleurs pour deviner les emplacements des images.

#Contexte

Depuis de nombreuses années, les moteurs de recherche web sont devenus les outils de référence pour diverses tâches de recherche d'infos. Les utilisateurs ont appris à optimiser leurs recherches en fonction de mots-clés plutôt que de langage naturel. L'avènement de l'intelligence artificielle et des modèles de langage, comme BERT et GPT-3, a conduit à de nouvelles méthodes de recherche permettant une interaction plus naturelle.

Ces systèmes plus récents permettent aux utilisateurs d'avoir des échanges plus conversationnels avec le moteur de recherche. Ce changement pourrait améliorer la façon dont les utilisateurs trouvent des infos, mais il reste des questions sur la capacité des gens à s'adapter à ce changement.

Dans cette étude, nous nous sommes concentrés sur la tâche de géolocalisation d'images, qui est importante dans des domaines comme l'application de la loi et le journalisme. Historiquement, cette tâche nécessitait une analyse d'expert et des outils de référence de haute qualité. Bien que des systèmes entièrement automatisés aient été développés, ils reposent souvent sur des indices visuels bien définis. Cette tâche est intrinsèquement difficile car les utilisateurs doivent non seulement trouver des indices visuels mais aussi savoir comment les transformer en requêtes de recherche efficaces.

#Questions de recherche

Cette étude visait à répondre à plusieurs questions clés :

1. Comment les stratégies de requête diffèrent-elles entre la recherche basée sur LLM et la recherche traditionnelle pour les tâches de géolocalisation d'images ?
2. Quels Défis les utilisateurs rencontrent-ils lorsqu'ils utilisent des moteurs de recherche basés sur LLM par rapport aux moteurs de recherche traditionnels ?
3. Comment les utilisateurs adaptent-ils leurs stratégies de formulation de requêtes lorsqu'ils utilisent ces différents outils de recherche ?

#Méthodologie

Pour enquêter sur ces questions, nous avons réalisé une étude avec 60 participants, chacun assigné au hasard à utiliser soit un moteur de recherche traditionnel, soit un moteur de recherche basé sur LLM pour des tâches de géolocalisation d'images. L'expérience impliquait six tours de devinette pour différents emplacements d'images, qui variaient en difficulté.

Les participants utilisaient une configuration à double écran, avec le moteur de recherche sur un écran et la tâche de géolocalisation sur l'autre. Ils ont été instruits d'utiliser uniquement l'outil de recherche fourni et avaient deux minutes pour chaque tour afin de faire leurs devinettes. Après avoir terminé les tâches, les participants ont rempli une enquête concernant leur expérience.

#Résultats

#Comparaison des performances

Les résultats ont indiqué que les participants utilisant le moteur de recherche traditionnel ont mieux réussi que ceux utilisant le moteur de recherche basé sur LLM. En moyenne, ceux du groupe traditionnel ont marqué plus de points en fonction de l'exactitude de leurs devinettes. Les utilisateurs de recherche traditionnelle ont émis plus de requêtes, tandis que les utilisateurs de LLM préféraient des questions plus longues et en langage naturel.

#Stratégies de formulation de requêtes

Les façons dont les participants ont formulé leurs requêtes différaient entre les deux groupes. Les participants utilisant le moteur de recherche traditionnel avaient tendance à émettre des requêtes plus courtes et plus ciblées, utilisant des termes spécifiques. En revanche, les utilisateurs de recherche basée sur LLM formulaient des requêtes plus longues et faisaient des demandes plus conversationnelles.

De plus, lorsqu'ils reformulaient leurs requêtes, les utilisateurs de recherche traditionnelle ajoutaient souvent plus de termes à leurs requêtes initiales. En revanche, ceux utilisant des LLM préféraient reformuler leurs questions sans ajouter beaucoup de nouveau contenu.

#Défis identifiés

Les participants ont également signalé rencontrer des défis avec le moteur de recherche basé sur LLM. Beaucoup ont trouvé difficile de communiquer efficacement leurs besoins, ce qui a entraîné de la frustration. Plusieurs participants ont mentionné des problèmes de langage, notamment lorsqu'ils utilisaient des termes dans des langues autres que l'anglais.

#Stratégies pour trouver des indices

Les participants ont utilisé différentes stratégies pour interpréter les indices des images. Les stratégies courantes comprenaient l'identification de noms de rue, la localisation d'entreprises et la description de caractéristiques géographiques. Bien que les stratégies spécifiques ne variaient pas significativement entre les groupes, la façon dont les participants traduisaient ces indices en requêtes différenciait.

Ceux utilisant le moteur de recherche traditionnel se concentraient sur des stratégies basées sur des mots-clés, tandis que les utilisateurs de LLM cherchaient des conseils conversationnels, ce qui, parfois, ne donnait pas de résultats efficaces.

#Discussion

#Différences dans l'interaction des utilisateurs

L'étude met en évidence des différences distinctes dans la façon dont les utilisateurs interagissaient avec les moteurs de recherche basés sur LLM et traditionnels. Les utilisateurs de recherche traditionnelle étaient plus concentrés sur des requêtes simples et directes, tandis que les utilisateurs de LLM adoptaient un ton plus conversationnel. Cette différence d'approche pourrait expliquer les disparités de performance observées.

De plus, les retours des participants indiquaient que beaucoup avaient du mal à s'adapter aux capacités des LLM. Certains n'étaient pas clairs sur la façon de formuler des requêtes efficaces, notamment lorsqu'ils faisaient face à des tâches nécessitant des connaissances spécifiques.

#Implications pour la conception et l'utilisation

Comprendre les différences de comportement des utilisateurs a des implications importantes pour la conception des interfaces LLM. Alors que ces technologies deviennent plus répandues, il est crucial de s'assurer que les utilisateurs peuvent communiquer efficacement leurs besoins. Réduire les barrières à une incitation efficace améliorera l'expérience utilisateur et les résultats.

Le manque de résultats efficaces provenant des recherches LLM, surtout lorsque les utilisateurs cherchaient des détails spécifiques comme des cartes ou des infos de localisation claires, souligne la nécessité d'une meilleure orientation sur la façon d'utiliser ces outils. Dans de nombreux cas, les utilisateurs étaient laissés à se débrouiller pour poser des questions efficaces sans soutien adéquat.

#Conclusion

Cette étude éclaire les différences entre les moteurs de recherche traditionnels et basés sur LLM dans le contexte de la géolocalisation d'images. Les participants utilisant des outils de recherche traditionnels ont mieux performé et formulé leurs requêtes d'une manière qui s'alignait sur les recherches basées sur des mots-clés attendus. En revanche, les utilisateurs de recherche de LLM ont rencontré des défis dans la formulation précise de leurs questions, ce qui a affecté leur performance.

Les travaux futurs devraient se concentrer sur l'amélioration des interfaces LLM et l'enrichissement de l'expérience utilisateur globale. Cela inclut la compréhension de la façon dont les utilisateurs forment des modèles mentaux de ces systèmes et comment les guider pour formuler des requêtes efficaces. Équiper les utilisateurs avec les outils nécessaires pour inciter efficacement les LLM sera essentiel à mesure que ces technologies continueront d'évoluer.

En abordant les défis identifiés dans cette étude, nous pouvons travailler à développer des technologies de recherche plus conviviales qui répondent aux besoins d'utilisateurs divers. Des interfaces LLM améliorées qui combinent des éléments conversationnels avec des incitations structurées pourraient offrir un équilibre plus efficace, guidant les utilisateurs vers des interactions réussies.