Comparer les réponses humaines et celles de l'IA en développement logiciel

L'IA générative, comme ChatGPT, est devenue populaire pour répondre à des questions, surtout en développement logiciel. Mais certaines plateformes, comme Stack Overflow, ont arrêté d'utiliser ces réponses générées par IA parce qu'elles les ont trouvées de mauvaise qualité. Cet article discute des différences entre les réponses données par des humains et celles générées par l'IA, surtout dans le domaine des questions et réponses sur le logiciel (SQA).

#Contexte

Stack Overflow est un site connu où les programmeurs peuvent poser des questions et obtenir des réponses d'autres utilisateurs. Récemment, son trafic a chuté, ce que certains attribuent à l'utilisation d'outils d'IA générative qui peuvent produire des réponses rapidement. Ces outils peuvent répondre à différents types de questions, y compris celles liées aux Langages de programmation comme Java et Python. Cependant, après le lancement de ChatGPT, Stack Overflow a décidé d'interdire son utilisation pour répondre aux questions parce qu'ils pensaient que les réponses générées par l'IA étaient souvent incorrectes.

#Objectif de l'étude

Malgré les préoccupations de Stack Overflow, il n'y a pas beaucoup de preuves solides montrant si les réponses générées par l'IA sont vraiment pires que celles écrites par des humains. Cet article vise à comparer ces deux types de réponses de plus près en examinant leur qualité et d'autres caractéristiques.

Dans cette étude, nous posons les questions suivantes :

1. Quelles sont les différences de qualité entre les réponses écrites par des humains et celles générées par l'IA ?
2. Comment les utilisateurs perçoivent-ils la qualité des réponses générées par l'IA par rapport à celles écrites par des humains ?

#Méthodologie

Pour réaliser cette étude, nous avons collecté des questions et réponses techniques de Stack Overflow. Nous avons établi des critères spécifiques pour sélectionner les questions afin de garantir qu'elles étaient pertinentes et avaient des réponses acceptées par des utilisateurs humains. Nous avons choisi des questions liées à Java et Python, en excluant celles avec des images puisque l'IA ne peut pas les traiter.

#Collecte de données

Nous avons rassemblé un total de 442 questions sur Python et 182 questions sur Java. Pour chaque question, nous avons obtenu la réponse acceptée écrite par un humain. Nous avons aussi utilisé un modèle d'IA, spécifiquement ChatGPT, pour générer des réponses aux mêmes questions. Les réponses ont été comparées selon différents aspects comme la longueur, la justesse, l'utilité et la clarté.

#Processus d'analyse

Pour comparer les réponses, nous les avons examinées de deux manières :

1. Comparaison automatique : Cela consistait à mesurer la longueur des réponses et à vérifier leur similarité à l'aide d'un modèle mathématique. Nous avons vérifié si les réponses avaient été générées par l'IA ou écrites par des humains selon certains critères.
2. Comparaison manuelle : Dans cette partie de l'étude, nous avons demandé à des participants humains d'évaluer les deux types de réponses selon leur satisfaction et si elles adressaient bien les questions.

#Résultats

#Résultats de la comparaison automatique

Dans la comparaison automatique, nous avons trouvé que les réponses écrites par des humains étaient généralement plus longues que celles générées par l'IA. Pour les deux langages de programmation, les réponses humaines étaient environ 1,8 fois plus longues que celles générées par ChatGPT. Malgré cela, le sens des réponses était souvent similaire, montrant que l'IA pouvait comprendre les questions dans une certaine mesure.

Cependant, il y avait des différences d'opinion sur le fait qu'une question devrait inclure des extraits de code. Dans de nombreux cas, l'IA n'était pas d'accord avec les réponses humaines à ce sujet.

#Résultats de la comparaison manuelle

Dans l'analyse manuelle, les participants ont été invités à évaluer les réponses humaines et celles générées par l'IA. Ils ont noté les réponses sur une échelle et ont donné des commentaires supplémentaires sur leur satisfaction. Les résultats ont montré que les réponses écrites par des humains étaient préférées dans presque tous les aspects mesurés.

Les réponses humaines étaient meilleures en termes de justesse, d'utilité, de diversité, de lisibilité, de clarté et de concision. Les participants ont également remarqué que les réponses générées par l'IA manquaient souvent de force dans certains domaines, avec 27 % d'entre elles contenant des erreurs factuelles, contre seulement 2 % des réponses humaines ayant des problèmes similaires.

Les participants ont déclaré que les réponses écrites par des humains comprenaient mieux les questions, montrant une compréhension 15 % meilleure comparée à celles générées par l'IA. Ils ont également noté que les réponses humaines étaient plus susceptibles d'adresser complètement les questions, avec un écart de 32 %.

Fait intéressant, 86 % des participants pouvaient facilement distinguer quelles réponses avaient été générées par l'IA, notant souvent que les réponses de l'IA semblaient dépourvues d'émotion et comprenaient des détails inutiles.

#Discussion

L'étude souligne que même si l'IA peut produire des réponses rapidement, la qualité de ces réponses ne correspond souvent pas à celle des réponses écrites par des humains. Les utilisateurs humains préféraient des réponses qui étaient non seulement précises mais aussi claires et utiles. Beaucoup d'utilisateurs ont souligné que ChatGPT était limité dans sa capacité à fournir des informations pertinentes pour des questions qui n'étaient pas dans ses données d'entraînement.

#Implications

Cette comparaison met en lumière comment l'IA générative peut aider à répondre à des questions liées aux logiciels, mais montre aussi les limites qu'elle rencontre. Bien que l'IA puisse générer des réponses rapidement, elle manque souvent de profondeur et de précision que les réponses humaines fournissent.

Pour l'avenir, il faut se concentrer sur l'amélioration des réponses de l'IA ainsi que sur la recherche de meilleures façons pour les humains et l'IA de collaborer dans la réponse aux questions sur les logiciels.

#Directions futures

Il y a deux domaines clés pour des recherches futures :

1. Améliorer les réponses de l'IA : Trouver des méthodes pour améliorer la qualité des réponses générées par les outils d'IA, les rendant plus utiles et précises.
2. Collaboration humain-IA : Explorer comment les humains et l'IA peuvent efficacement partager la charge de travail dans le SQA, assurant que les utilisateurs reçoivent des réponses de haute qualité rapidement.

#Conclusion

L'IA générative a montré un grand potentiel pour répondre aux questions liées aux logiciels mais ne correspond pas encore à la qualité des réponses écrites par des humains. Bien qu'elle puisse répondre rapidement, la profondeur de compréhension et la précision sont souvent insuffisantes. À mesure que la technologie progresse, améliorer les capacités de l'IA sera essentiel pour son acceptation et son utilité dans des domaines comme la programmation et le développement de logiciels.