Conception d'outils pour l'analyse de données alimentée par des LLM

Les grands modèles de langage (LLMs) sont des programmes informatiques conçus pour comprendre et générer le langage humain. Ils peuvent faire plein de trucs, comme analyser des données. Mais souvent, les LLMs galèrent avec des tâches spécifiques liées à certains domaines comme la médecine ou la finance. Cet article parle de comment on peut créer des outils qui utilisent des LLMs spécifiquement pour ces domaines, en se concentrant sur la façon dont les utilisateurs interagissent avec les outils et sur le contrôle qu'ils ont sur le processus.

#Contexte

Ces dernières années, les LLMs ont montré qu'ils pouvaient être super utiles pour des tâches générales, comme écrire, répondre à des questions ou créer du code. Beaucoup de gens et d'entreprises commencent à explorer comment ces modèles peuvent aider en programmation et en analyse de données. Des outils comme Github Copilot et ChatGPT ont attiré beaucoup d'attention parce qu'ils peuvent aider les développeurs à travailler plus vite et avec plus de plaisir.

Mais, même si ces modèles sont bons pour les tâches générales, ils ne comprennent pas toujours les infos détaillées nécessaires pour des jobs spécifiques. Par exemple, les infos utilisées dans l'analyse de données peuvent être très complexes et nécessitent une compréhension approfondie du domaine. Cette lacune signifie qu'on doit réfléchir attentivement à comment concevoir des outils qui fonctionnent au mieux avec ces modèles dans des domaines spécifiques.

#Conception d'outils spécifiques au domaine

On a regardé comment concevoir des outils qui utilisent des LLMs pour des tâches spécifiques d'analyse de données dans divers domaines. On s'est concentré sur deux zones principales : comment les utilisateurs interagissent avec les outils et le contrôle que les utilisateurs ont sur le processus.

#Interaction utilisateur

Quand les utilisateurs interagissent avec des outils alimentés par l'IA, ils peuvent choisir d'avoir des interactions ouvertes ou structurées. Les outils ouverts permettent aux utilisateurs de poser des questions librement ou de demander de l'aide, tandis que les outils structurés guident les utilisateurs à travers un ensemble de étapes définies. On a créé deux prototypes pour tester ces différents styles d'interaction.

• Outil à haute autonomie : Dans cet outil, les utilisateurs ont beaucoup de liberté sur la façon dont ils interagissent. Ils peuvent poser des questions comme ils veulent et ont un contrôle total sur le processus d'analyse.

• Outil à basse autonomie : Cet outil guide les utilisateurs étape par étape à travers l'analyse, offrant une expérience plus structurée. Les utilisateurs ont moins de flexibilité mais reçoivent plus de directions.

#Autonomie des utilisateurs

L'autonomie des utilisateurs fait référence à combien de contrôle les utilisateurs ont dans le processus. Dans notre étude, on voulait découvrir comment le niveau d'autonomie impactait l'expérience utilisateur. Avec l'outil à haute autonomie, les utilisateurs avaient l'impression de pouvoir explorer plus librement, mais certains trouvaient ça écrasant. En revanche, bien que l'outil à basse autonomie fournissait plus de guidance, il faisait parfois sentir aux utilisateurs qu'ils étaient limités.

#Méthodologie

Pour comprendre comment les utilisateurs interagissaient avec ces outils, on a mené des interviews avec neuf data scientists. Ils ont travaillé sur des tâches spécifiques au domaine en utilisant les deux prototypes, et on a observé leurs expériences et recueilli leurs retours.

#Processus d'interview

Les interviews comprenaient trois parties :

1. Interview pré-étude : On a demandé aux participants leurs expériences en analyse de données, y compris comment ils présentent leurs résultats à des collègues et à des parties prenantes.

2. Achèvement de tâches : Les participants ont complété deux tâches spécifiques d'analyse de données en utilisant les deux outils tout en pensant à voix haute sur leurs expériences.

3. Session de retour : Après avoir terminé les tâches, les participants ont partagé leurs pensées sur les deux outils, discutant de ce qu'ils aimaient et n'aimaient pas.

#Résultats clés

Notre étude a révélé plusieurs aperçus importants concernant les expériences des utilisateurs avec des outils d'analyse de données alimentés par des LLMs.

#Perceptions des résultats des LLM

Les utilisateurs étaient globalement satisfaits des résultats des LLM pour l'analyse de données mais avaient quelques préoccupations :

• Qualité des résultats : Les participants appréciaient d'avoir un point de départ pour leur travail grâce aux LLMs mais remarquaient que parfois le code généré contenait des erreurs.

• Confiance et vérifiabilité : Les utilisateurs exprimaient des hésitations concernant les résultats, souvent en ayant l'impression qu'ils devaient vérifier les résultats de manière indépendante. Le manque de confiance provenait du fait qu'ils ne savaient pas comment les LLMs parvenaient à leurs conclusions.

• Besoin d'explications : Les utilisateurs voulaient des explications claires sur comment les LLMs formulaient leurs résultats. Ils se sentaient souvent perdus lorsqu'ils ne comprenaient pas le raisonnement derrière les résultats.

#Effets des modes d'interaction

Différents modes d'interaction affectaient le comportement des utilisateurs :

• Dans le cadre à haute autonomie, les utilisateurs incluaient souvent plus d'informations détaillées pour aider le LLM à comprendre leurs besoins. Ce processus était difficile pour certains, qui se retrouvaient à écrire des notes ou des contextes avant d'interagir avec l'outil.

• Dans le cadre à basse autonomie, les utilisateurs s'appuyaient sur les conseils structurés de l'outil, ce qui limitait parfois leur capacité à fournir un contexte détaillé. Cela les amenait à adopter une approche plus simple lorsqu'ils saisissaient des données.

#Gestion des erreurs

Face à des erreurs, les utilisateurs à haute autonomie s'engageaient activement à diagnostiquer les problèmes eux-mêmes. Ils copiaient souvent les messages d'erreur et cherchaient des retours du LLM. En revanche, les utilisateurs à basse autonomie étaient moins proactifs et comptaient sur l'outil pour gérer automatiquement les erreurs, ce qui les amenait parfois à rater des étapes de dépannage importantes.

#Recommandations de conception

Sur la base de nos résultats, on propose plusieurs recommandations pour concevoir des outils alimentés par des LLM pour l'analyse de données :

#Interaction structurée

Bien que l'interaction ouverte soit devenue populaire, il y a beaucoup de valeur dans des flux de travail structurés qui guident les utilisateurs à travers les tâches. Les outils qui combinent les deux styles peuvent améliorer l'expérience utilisateur. Les développeurs devraient envisager de mettre en place un système où les utilisateurs peuvent choisir entre un processus guidé et une exploration ouverte.

#Autonomie dans l'exécution

Les participants ont montré un intérêt à garder le contrôle sur l'exécution des processus. Offrir aux utilisateurs l'option de modifier le code ou d'ajuster les analyses avant l'exécution peut améliorer leur expérience. De plus, automatiser les tâches de préparation de données courantes peut faire gagner du temps aux utilisateurs, leur permettant de se concentrer sur des analyses plus complexes.

#Autonomie des utilisateurs au niveau de la planification

Bien que les utilisateurs aient apprécié le soutien à l'exécution, ils ont exprimé des hésitations concernant l'assistance à la planification fournie par les LLMs. Les outils devraient offrir des suggestions et des idées tout en permettant aux utilisateurs de garder le pouvoir de décision final. Cet équilibre peut aider à instaurer la confiance et la confiance dans le système.

#Conclusion

Notre recherche met en lumière le potentiel des LLMs à aider avec des tâches spécifiques d'analyse de données tout en soulignant l'importance des styles d'interaction des utilisateurs et des niveaux de contrôle. En comprenant comment les utilisateurs interagissent avec ces outils, les concepteurs peuvent créer des applications alimentées par l'IA plus efficaces qui répondent à leurs besoins.

L'étude ouvre des perspectives pour de futures recherches sur l'amélioration de l'intégration des LLM dans divers domaines spécialisés, en mettant l'accent sur la nécessité de transparence, de construction de la confiance et de conceptions d'interaction adaptables. Les développements futurs devraient prendre en compte les parcours et compétences divers des utilisateurs pour créer des outils qui ne soient pas seulement efficaces, mais aussi faciles à utiliser.

Avec une conception soignée, on peut garantir que l'analyse de données alimentée par des LLM devient un atout précieux pour les professionnels de divers domaines, les aidant à obtenir des résultats plus efficaces et précis.