Identifier le code humain vs IA : Une nouvelle méthode

Le développement logiciel évolue rapidement avec l’arrivée des outils d'intelligence artificielle (IA). Des programmes comme GitHub Copilot et ChatGPT aident maintenant les développeurs à écrire du code. Mais ça soulève des préoccupations, surtout en éducation, sur le fait que les étudiants pourraient soumettre du code généré par ces outils au lieu de leur propre travail. On a enquêté pour savoir comment différencier le code écrit par des humains et celui généré par l'IA.

#L'Étude

Notre recherche se concentrait sur la capacité à faire la distinction entre le code écrit par des humains et le code généré par l'IA. On a utilisé une méthode appelée stylométrie du code, qui regarde le style dans lequel le code est écrit, combinée avec l'Apprentissage automatique, qui permet aux ordinateurs d'apprendre à partir des données. On a rassemblé des solutions créées par des humains sur CodeChef - une plateforme de programmation compétitive - et des solutions générées par l'IA via GPT-4.

Le Classificateur qu'on a construit a bien fonctionné, obtenant un score indiquant une forte capacité à différencier les deux types de code. En fait, le classificateur a atteint des scores de 0,91, ce qui indique qu'il était efficace pour faire la distinction entre le code écrit par des humains et le code généré par l'IA.

#Contexte

Les outils d'IA deviennent de plus en plus répandus, offrant des suggestions de code, identifiant des bugs, et même générant des blocs de code entiers. Ces avancées sont bénéfiques pour les développeurs, surtout les débutants, mais elles comportent des risques. Les enseignants s'inquiètent du potentiel de malhonnêteté académique puisque les étudiants pourraient faire passer le code généré par l'IA pour le leur. Les méthodes précédentes de détection du plagiat pourraient ne pas fonctionner pour le code généré par l'IA car il ressemble souvent très peu au code écrit par les étudiants.

Notre objectif était d'explorer si on pouvait créer un outil pour identifier le code généré par l'IA en utilisant les différences stylistiques entre la paternité humaine et la génération par IA.

#Comment On A Mené La Recherche

#Collecte de données

On a collecté des données sur CodeChef, y compris des problèmes Python et des solutions humaines. On s'est assuré que les solutions humaines venaient d'après l'abandon de Python 2 et avant que les outils d'IA deviennent populaires. Comme ça, les solutions qu'on a analysées venaient d'une époque où les étudiants écrivaient du code sans aide de l'IA. Au final, on a eu 419 problèmes, chacun avec au moins deux solutions correctes.

#Caractéristiques Analysées

Pour entraîner notre classificateur, on a regardé diverses caractéristiques dans le code :

• Caractéristiques de Mise en Page : Ça inclut comment le code est organisé visuellement, comme les espaces et les lignes.
• Caractéristiques Lexicales : Ça implique de décomposer le code en ses éléments de base comme les mots-clés et les littéraux.
• Caractéristiques Syntaxiques : Ça examine la structure du code, comment différentes parties se relient entre elles.
• Métriques de Complexité du Code : On a mesuré des aspects comme la maintenabilité et la complexité du code.

Ces caractéristiques nous ont aidés à construire un modèle robuste capable d'analyser et de classer le code efficacement.

#Techniques d'Apprentissage Automatique

On a utilisé un type spécifique d'apprentissage automatique appelé XGBoost pour créer notre classificateur. Cette méthode est efficace et aide à se concentrer à la fois sur l'exactitude et la simplicité des prédictions. On a testé notre classificateur en utilisant une méthode appelée validation croisée à dix plis. Cette technique divise le jeu de données en dix parties ; elle entraîne le modèle sur neuf parties et le teste sur la partie restante. Ça donne une bonne évaluation de la capacité du modèle à prédire.

#Résultats

Notre classificateur a bien performé sur plusieurs métriques :

• Précision : Indique combien des codes générés par l’IA qui ont été prédits l'étaient effectivement.
• Rappel : Montre combien des codes générés par l'IA ont été correctement identifiés.
• Score F1 : Un équilibre entre précision et rappel, fournissant un score unique pour évaluer l'efficacité du modèle.

Les résultats ont indiqué que notre méthode était efficace pour distinguer le code écrit par des humains et celui généré par l'IA.

#Caractéristiques Jouables

On a aussi regardé les "caractéristiques jouables". Ce sont des éléments qui peuvent être facilement changés sans affecter la performance du code. Par exemple, ajouter des lignes vides ou des espaces peut faire en sorte que le code généré par l’IA ressemble davantage à du code écrit par un humain. En excluant ces caractéristiques de notre modèle, on a constaté qu'il fonctionnait toujours bien, indiquant que notre classificateur pouvait identifier efficacement les vraies différences stylistiques sans se fier à des facteurs facilement modifiables.

#Comparaison Avec D'autres Approches

En comparant notre classificateur à des méthodes précédentes, on a trouvé qu'il surpassait les anciennes techniques tant en précision qu'en interprétabilité. Notre classificateur, basé sur les styles de code, était plus efficace que ceux basés simplement sur des structures de code similaires.

#Défis Rencontrés

Bien que nos résultats soient prometteurs, on a rencontré des défis, surtout en s'assurant que le jeu de données était propre et pertinent. On a dû s’assurer que le code généré par l'IA n'était pas mélangé avec des solutions humaines et qu'on n'incluait pas de soumissions incorrectes dans notre analyse.

#L'Importance des Styles

Un des enseignements clés de notre étude est l'importance du style de codage. Chaque programmeur a tendance à avoir sa propre manière d'écrire du code, ce qui peut être observé dans des aspects comme la longueur des lignes, les conventions de nommage, et l'utilisation de certains mots-clés. Ces différences stylistiques peuvent être cruciales pour distinguer le code écrit par des humains de celui généré par l'IA.

#Implications pour l'Éducation

La montée des outils d'IA en programmation soulève d'importantes questions pour les enseignants. À mesure que l'IA devient plus répandue, les éducateurs doivent adapter leurs méthodes d'enseignement et d'évaluation. Nos résultats pourraient aider à développer des outils pour aider les enseignants à identifier les soumissions générées par l'IA, maintenant ainsi l'intégrité académique.

En comprenant les caractéristiques du code généré par l'IA, les éducateurs peuvent créer des évaluations et des politiques plus efficaces régissant l'utilisation de l'IA dans les milieux académiques.

#Directions Futures

En regardant vers l'avenir, on prévoit d'étendre notre recherche de plusieurs façons :

• Plateformes Plus Larges : On vise à analyser des soumissions de code provenant de plus de plateformes pour voir si notre classificateur peut maintenir son efficacité dans différents contextes.
• Différentes Langues de Programmation : Les futures études incluront d'autres langues, ce qui nous permettra de tester la polyvalence de notre approche.
• Détection de Code Modifié : On va enquêter sur des méthodes pour détecter le code généré par l’IA qui a été intentionnellement modifié après génération.

Au final, notre objectif est de contribuer à une meilleure compréhension de la façon dont l'IA impacte la programmation et l'éducation et de développer des outils qui peuvent aider à maintenir l'intégrité dans les pratiques de codage.

#Conclusion

Notre recherche démontre le potentiel de la stylométrie de code combinée avec l'apprentissage automatique pour identifier si le code est écrit par un humain ou généré par une IA. Avec des scores indiquant une forte performance, notre classificateur offre un outil prometteur pour les éducateurs confrontés aux défis posés par l'utilisation croissante de l'IA en programmation. À mesure que la technologie continue d'évoluer, comprendre et répondre à ces changements sera crucial pour façonner l'avenir de l'éducation en codage.