Évaluation des détecteurs AIGC pour la génération de code

Le contenu généré par l'intelligence artificielle (AIGC) est devenu super populaire grâce à ses résultats impressionnants, surtout avec des modèles comme ChatGPT, qui peuvent donner des réponses de qualité pour plein de tâches, y compris le développement logiciel. Mais il y a des inquiétudes sur l'utilisation abusive de cette IA, surtout dans l'éducation et des domaines où les erreurs comptent.

Pas mal de Détecteurs d'AIGC ont été créés pour évaluer la qualité des textes générés par l'IA, mais leur efficacité sur le Code produit par ChatGPT est encore floue. Cet article s'attaque à ce manque en étudiant à quel point les détecteurs d'AIGC existants fonctionnent avec du contenu lié au code.

On a constitué un gros dataset avec 492 500 échantillons de code fait par ChatGPT, couvrant des tâches comme des questions-réponses, la résumation de code et la génération de code. On a testé la performance de six détecteurs d'AIGC - trois commerciaux et trois open-source - en utilisant ce dataset. En plus, on a réalisé une étude humaine pour voir si les gens arrivaient à détecter du code généré par l'IA par rapport à ces outils.

Les résultats montrent que les détecteurs d'AIGC sont moins efficaces sur le code que sur du texte standard. Un ajustement des détecteurs peut améliorer leur performance, surtout pour les données liées au code, mais ils ont encore du mal à généraliser sur différentes tâches. L'étude humaine a montré que même des personnes expérimentées trouvent ça difficile d'identifier du code généré par l'IA.

#L'essor de l'AIGC

Ces dernières années, l'AIGC a attiré beaucoup d'attention de la part des chercheurs et des industries. Ce terme fait référence à différents types de contenu produit par des techniques d'IA avancées. À mesure que ces techniques progressent, la qualité du contenu généré s'améliore, menant à une variété d'applications. ChatGPT, développé par OpenAI, se démarque comme un modèle génératif de premier plan, capable de créer des réponses proches de celles des humains dans différentes situations.

ChatGPT repose sur l'architecture GPT-3.5 et a été affiné grâce à un apprentissage par renforcement basé sur les retours humains. Cet entraînement approfondi permet à ChatGPT de répondre précisément dans de nombreux contextes, comme rédiger des emails, écrire des articles et même produire du code. Sa capacité à comprendre le contexte et à suivre des instructions le rend particulièrement utile.

Bien que ChatGPT offre de nombreux avantages, il y a aussi un risque de mauvaise utilisation. Par exemple, des étudiants pourraient s'en servir pour tricher à l'école, ce qui pose problème pour l'honnêteté académique. Certaines universités ont donc restreint son utilisation à cause de ces préoccupations.

Dans l'industrie, il est aussi nécessaire de scruter l'origine du contenu généré par ChatGPT. Les erreurs dans le contenu généré par l'IA peuvent mener à des problèmes sérieux, surtout dans des domaines où la sécurité est cruciale. Par exemple, Stack Overflow a interdit les réponses créées par ChatGPT car on a jugé que leur précision était inacceptable.

Avec l'utilisation croissante de ChatGPT dans le développement logiciel, il y a un besoin grandissant d'outils capables de détecter efficacement le contenu généré par l'IA. Différents détecteurs d'AIGC ont été développés pour identifier les textes produits par l'IA, comme les modèles GPT-2 et GPT-3. Cependant, leur efficacité, surtout concernant le code, reste à analyser.

#Objectifs de recherche

Dans cette étude, on cherche à évaluer la performance des détecteurs d'AIGC pour identifier le contenu lié au code généré par ChatGPT. La recherche aborde plusieurs questions clés :

• À quel point les outils actuels sont-ils précis pour détecter le code généré par ChatGPT ?
• Comment ces outils se débrouillent par rapport à la détection de contenu en Langage Naturel ?
• L'ajustement peut-il améliorer la capacité de ces outils à identifier le code généré par l'IA ?
• Comment les évaluateurs humains se débrouillent-ils par rapport aux détecteurs ?

Pour répondre à ces questions, on a créé deux datasets : un pour le contenu lié au code et un autre pour le contenu en langage naturel, tous deux générés avec ChatGPT. Le dataset de code se compose de 467 500 échantillons collectés à partir de scénarios de programmation communs.

#Méthodes de collecte des données

On s'est concentré sur trois activités de programmation spécifiques couramment soutenues par les outils d'IA :

1. Sessions de questions-réponses sur des sujets de programmation.
2. Génération de descriptions en langage naturel à partir de morceaux de code (génération code vers texte).
3. Production de code à partir de descriptions en langage naturel (génération texte vers code).

#Dataset de questions-réponses

Pour la partie Q&A, on a utilisé des infos de Stack Overflow, une plateforme où les programmeurs cherchent des réponses à leurs questions. On a pris 115 000 paires de questions et réponses, où une réponse était générée par un humain et l'autre par ChatGPT. Ça nous a permis d'évaluer la performance des détecteurs dans un cadre réel.

#Génération code vers texte

Pour analyser la génération code vers texte, on a adopté le dataset CodeSearchNet. Chaque échantillon de ce dataset comprend un extrait de code et sa description correspondante. On a créé 126 000 échantillons où ChatGPT a généré des descriptions basées sur le code existant.

#Génération texte vers code

Pour la tâche de génération texte vers code, on a rassemblé 226 500 échantillons. On a utilisé des datasets comme APPS et CONCODE, qui contiennent des problèmes de codage avec des solutions fournies. On a demandé à ChatGPT de produire des solutions basées sur ces descriptions.

#Polissage du langage naturel

Pour comparer les tâches liées au code avec celles en langage naturel, on a développé un dataset se concentrant uniquement sur des tâches en langage naturel. On a demandé à ChatGPT de reformuler du texte provenant de Wikipedia, résultant en 25 000 échantillons polis.

Au total, on a collecté 492 500 échantillons pour notre étude, nous permettant d'analyser la capacité des détecteurs d'AIGC à identifier le code généré par l'IA et à le comparer avec la performance humaine.

#Détecteurs d'AIGC évalués

On a examiné six détecteurs : trois commerciaux et trois open-source.

#Détecteurs commerciaux

• GPTZero : Cet outil prédit si le contenu est généré par l'IA, entraîné sur une collection de textes écrits par des humains et générés par l'IA.
• Writer : Un outil gratuit qui évalue si le contenu est rédigé par une IA, bien que les détails sur son fonctionnement soient limités.
• AITextClassifier : Cet outil, créé par OpenAI, évalue si un texte a été produit par un modèle d'IA et est conçu pour s'améliorer avec le temps.

#Détecteurs open-source

• GPT2-Detector : Cet outil est affiné pour détecter les textes générés par le modèle GPT-2.
• DetectGPT : Une option open-source qui utilise une approche différente en comparant le texte généré avec les probabilités log moyennes.
• RoBERTa-QA : Un modèle affiné pour le contenu Q&A, entraîné sur des datasets incluant des questions et réponses sur divers sujets.

#Configuration de l'expérience

On a mené notre évaluation en se basant sur plusieurs questions de recherche clés, en se concentrant sur l'efficacité et la robustesse des détecteurs existants.

#Efficacité des détecteurs existants

Pour déterminer à quel point les détecteurs existants identifient le contenu généré par ChatGPT, on a mesuré la performance de chaque détecteur sur les datasets de code et de langage naturel. Les métriques d'évaluation incluaient l'aire sous la courbe (AUC), ainsi que les taux de vrais positifs et de faux positifs.

#Performance de l'ajustement

On a examiné comment l'ajustement affectait les détecteurs en améliorant leurs capacités spécifiquement pour les datasets de code et de langage naturel. Cela a impliqué de réentraîner certains modèles en utilisant des échantillons de nos datasets collectés.

#Robustesse des détecteurs

Pour évaluer à quel point ces détecteurs sont robustes face à de légères modifications du contenu généré par ChatGPT, on a appliqué des mutations aux datasets de code et de langage naturel. Cela impliquait de changer certains éléments du texte généré pour voir si les détecteurs pouvaient toujours l'identifier comme généré par l'IA.

#Capacités de détection humaine

En plus d'évaluer les détecteurs, on a réalisé une enquête avec des développeurs de logiciels expérimentés. Ils devaient distinguer entre le contenu généré par des humains et celui généré par l'IA, ce qui nous a permis de comparer leurs capacités à celles des détecteurs.

#Résultats de l'étude

#Performance des détecteurs

Les résultats ont révélé que les détecteurs d'AIGC actuels peinaient significativement avec les données de code par rapport aux données en langage naturel. Les scores AUC moyens pour le contenu lié au code étaient notablement bas, indiquant que détecter le code généré par l'IA reste un défi. Les résultats ont suggéré que les détecteurs commerciaux surpassaient ceux open-source, bien que les deux catégories rencontrent des problèmes similaires avec la détection du code.

#Effets de l'ajustement

L'ajustement des détecteurs a généralement amélioré leur performance. Les détecteurs qui ont été affinés sur des datasets pertinents ont montré une meilleure précision et des taux de faux positifs/négatifs plus bas. Cela suggère qu'un entraînement sur mesure peut aider les détecteurs à devenir plus efficaces pour identifier le code généré par l'IA.

#Analyse de robustesse

L'analyse de la robustesse a montré que bien que les détecteurs fonctionnaient raisonnablement bien après de légères modifications de contenu, des faiblesses apparaissaient dans certains cas, surtout pour des datasets sur lesquels ils n'avaient pas été ajustés.

#Résultats de l'étude humaine

Les résultats de l'étude humaine ont montré que les participants étaient meilleurs pour identifier le contenu en langage naturel que les données de code. Même les développeurs expérimentés avaient souvent du mal avec les extraits de code, soulignant les difficultés rencontrées dans la détection.

#Conclusions

L'étude souligne le besoin d'outils de détection AIGC meilleurs, surtout pour les tâches liées au code. Les détecteurs actuels font face à des défis considérables pour identifier le code généré par l'IA par rapport au texte naturel. Bien que l'ajustement puisse améliorer la performance, la généralisation reste un problème. De plus, les humains trouvent aussi difficile de détecter le contenu généré par l'IA, ce qui suggère que l'amélioration des méthodes de détection est essentielle pour garantir l'utilisation responsable de l'AIGC.

Les résultats mettent en avant la nécessité de recherches continues dans ce domaine, afin de développer des outils de détection plus efficaces capables de s'adapter à différents types de contenu généré par l'IA, en particulier dans le domaine du développement logiciel.