Un nouvel outil pour comprendre le code

Comprendre le Code peut être galère, surtout quand les devs bosser dans des environnements nouveaux et complexes. Bien que les commentaires et la doc soient utiles, ils manquent souvent ou sont durs à trouver. Les grands modèles de langage (LLM), ces Outils d'IA qui peuvent générer du texte, ont amélioré l’écriture de code. Mais est-ce qu'ils peuvent aussi aider les devs à mieux comprendre le code ?

Cet article parle d'un nouvel outil qui intègre les LLM directement dans l’environnement de développement logiciel, conçu pour aider les devs à piger le code avec lequel ils bossent. Cet outil permet aux utilisateurs d'interagir avec le LLM sans devoir écrire des invites spécifiques, ce qui facilite l’obtention d'infos sur le code qu'ils modifient.

#Le défi de la compréhension du code

Les devs passent beaucoup de temps à essayer de comprendre le code à cause de sa complexité. Ils doivent souvent apprendre sur divers éléments, comme comment différentes parties du code fonctionnent ensemble, les APIS (Interfaces de programmation d’applications) utilisées, et des termes spécifiques au domaine dans lequel ils travaillent. Chacune de ces infos peut être éparpillée sur différentes sources, rendant difficile d'avoir une vue d'ensemble, surtout pour ceux qui sont nouveaux ou moins expérimentés.

La plupart des docs sont insuffisantes ou dépassées, ce qui complique encore plus les choses. Avec la montée des outils de codage basés sur les LLM, il y a encore plus besoin de comprendre les infos générées par ces outils. C'est courant que les devs reçoivent du code de ces outils qu'ils ne comprennent pas entièrement, ce qui mène à de la frustration quand ils essaient de déboguer ou de modifier.

#Développement de l'outil LLM

Pour résoudre ces problèmes, un nouvel outil a été développé permettant aux devs de récupérer des infos contextuelles directement des LLM pendant qu'ils codent. Cet outil a été conçu pour fournir du soutien sans que les utilisateurs aient à rédiger des invites manuellement. Au lieu de cela, il s’appuie sur le code déjà en cours pour poser des questions pertinentes au modèle d’IA.

Pour l’étude, cet outil a été testé avec un groupe de 32 Participants, comparant leur capacité à comprendre et compléter des Tâches de codage avec et sans l'outil. Les participants ont utilisé l'outil pour obtenir divers types d'infos, y compris des explications sur des sections de code, des détails sur les appels API, et des exemples d'utilisation.

#Évaluation par les utilisateurs

Pour voir à quel point cet outil était utile, les participants ont été engagés dans des tâches demandant de comprendre et d’étendre du code inconnu avec de nouveaux concepts de domaine. L'étude a révélé que l'utilisation de l'outil a amélioré les taux de complétion des tâches par rapport à la recherche d'infos sur le web.

De plus, les résultats ont montré que les bénéfices de l'outil différaient entre les étudiants et les développeurs pros, indiquant que le parcours pouvait jouer un rôle dans l’efficacité de l'outil pour différents utilisateurs.

#Comment fonctionne l'outil

L'outil fonctionne comme un plugin dans l’environnement de codage populaire, Visual Studio Code. Les devs peuvent surligner une section de code et activer l'outil pour obtenir une explication ou du contexte supplémentaire. Cette expérience interactive permet une intégration fluide dans leur flux de travail existant.

Les principales fonctionnalités incluent :

1. Aperçu du code : Fournit un résumé de la section de code surlignée.
2. Détails des API : Offre des explications détaillées des méthodes API utilisées dans le code.
3. Explications de concepts : Décompose des termes ou concepts spécifiques au code.
4. Exemples d'utilisation : Donne des exemples pratiques de comment utiliser différentes API ou fonctions.

Ces fonctions permettent aux utilisateurs de rassembler des infos sans avoir besoin de quitter leur environnement de codage ou de chercher sur internet, rendant l'expérience de codage plus efficace.

#Conception de l'étude

L'étude a suivi un design spécifique où les participants devaient compléter des tâches sous deux conditions différentes : en utilisant l'outil LLM et en cherchant sur le web. Chaque condition a été testée sur différentes tâches, permettant une comparaison directe de comment chaque méthode soutenait la compréhension du code.

Les participants étaient divisés en deux groupes en fonction de leur parcours, certains étant étudiants et d’autres pros. Cette division a aidé à analyser les différences dans l'utilisation et les bénéfices de l'outil par chaque groupe.

#Résultats de l'étude

Les résultats ont montré que l'outil a considérablement amélioré le nombre de tâches complétées par rapport aux recherches sur le web. Les participants utilisant l'outil LLM ont réussi à faire plus de progrès sur leurs tâches. Cependant, le temps pris pour terminer les tâches et la profondeur de compréhension ne montraient pas de différences significatives, suggérant que bien que l'outil soit efficace pour aider à la complétion des tâches, il y a des domaines où il pourrait encore être amélioré.

En analysant les données en fonction des parcours des participants, il est devenu clair que les pros ont bénéficié davantage de l'outil que les étudiants. Cette découverte a poussé à explorer davantage les raisons derrière ces différences, révélant que les pros étaient plus habiles à utiliser des invites et à affiner leurs requêtes efficacement.

#Interaction des utilisateurs avec l'outil

Les participants ont utilisé différentes fonctionnalités de l'outil de manière variée. L'outil a enregistré les interactions, montrant la fréquence d'utilisation de certaines fonctionnalités. La fonction d’aperçu était la plus populaire, probablement à cause de sa simplicité et de son accès facile. La possibilité d'interagir via des boutons était aussi appréciée mais utilisée moins souvent.

Bien que beaucoup de participants aient trouvé l'outil utile, certains ont exprimé des difficultés à créer des invites efficaces pour le LLM. Ce défi a mis en lumière un potentiel obstacle à la réalisation complète des avantages de l'outil, surtout pour ceux qui n'ont pas de solides bases en programmation.

#Perceptions et retours des utilisateurs

Dans les enquêtes qui ont suivi l'étude, les participants ont donné leur avis sur leur expérience avec l'outil. Beaucoup ont apprécié la capacité d'incorporer le contexte du code lors de leurs requêtes au LLM, car cela réduisait leur charge cognitive et rendait leurs recherches plus pertinentes. Cependant, il y avait des opinions mitigées concernant l’utilité globale des différentes fonctionnalités, certains utilisateurs souhaitant une interface plus simple.

Les participants ayant utilisé l'outil ont rapporté se sentir moins pressés et plus efficaces dans leurs tâches, indiquant que cela fournissait un environnement de soutien pour comprendre le code. Des suggestions pour des améliorations futures incluaient un meilleur lien entre le LLM et les ressources de codage existantes et une interface plus conviviale.

#La valeur du contexte dans la compréhension du code

Un point majeur à retenir de l'étude est l'importance du contexte lorsqu'il s'agit d’utiliser des LLMs pour comprendre le code. Les participants ont souvent souligné les avantages d'utiliser leur code comme contexte pour leurs requêtes. À l'avenir, l'outil pourrait être amélioré en intégrant des couches supplémentaires de contexte, comme des détails de projet ou de l’expérience personnelle en programmation, pour adapter encore mieux les réponses aux besoins des utilisateurs.

#Conclusion

En conclusion, l'intégration des LLMs dans le processus de développement logiciel a le potentiel d’aider significativement à la compréhension du code. L'étude a montré qu'en intégrant cette technologie dans les environnements de codage, les développeurs peuvent obtenir des infos contextuelles qui les aident à compléter les tâches plus efficacement.

Bien que l'outil ait montré des bénéfices significatifs, la variation des résultats parmi les différents groupes d'utilisateurs souligne la nécessité de recherches supplémentaires. Les retours des participants suggèrent qu'il y a encore du travail à faire pour améliorer l'expérience utilisateur, surtout pour ceux moins familiers avec les concepts de codage.

Alors que le paysage de la programmation continue d’évoluer, des outils comme celui-ci pourraient jouer un rôle essentiel pour aider les devs de tous niveaux à naviguer dans les complexités du code, menant finalement à une meilleure productivité et une meilleure compréhension des logiciels qu'ils créent.