Évaluation des LLM dans la détection de clones de code

La détection de clones de code est une tâche super importante dans le dev de logiciels. Ça consiste à repérer des parties de code qui sont très similaires ou identiques. Cette pratique aide à garder un code de haute qualité, à réduire les erreurs et à assurer la cohérence. Les ingénieurs logiciels doivent garder un œil sur ces segments de code similaires, aussi appelés clones de code, pour éviter la redondance et les bugs potentiels.

#C'est quoi les clones de code ?

Les clones de code désignent des sections de code qui sont identiques ou très similaires entre elles. On peut trouver ces clones dans le même fichier, à travers différents fichiers d'un projet, ou parmi divers projets. Il y a différents types de clones en fonction de leur similarité :

• Type-1 (T1) : Ce sont des segments de code identiques avec quelques petites différences au niveau du format, des commentaires, ou des espaces.
• Type-2 (T2) : Similaires au Type-1, mais avec des changements seulement dans les noms de variables ou les valeurs.
• Type-3 (T3) : Ces segments ont des différences au niveau des instructions, où certaines instructions sont ajoutées, supprimées ou modifiées.
• Type-4 (T4) : Ces segments ne sont pas similaires en structure mais atteignent la même fonctionnalité.

Identifier ces clones, surtout ceux qui sont sémantiquement similaires (comme le Type-4), est assez compliqué. La plupart des méthodes actuelles se concentrent sur la similarité textuelle, ce qui rend difficile la détection des clones de Type-3 et Type-4.

#Le rôle de l'IA dans la détection de clones de code

Avec l'essor de l'intelligence artificielle (IA), les chercheurs cherchent des méthodes basées sur l'IA pour aider à la détection des clones de code. Des techniques d'apprentissage machine (ML) et d'apprentissage profond (DL) ont été utilisées pour trouver des segments de code partageant des similarités. Divers outils comme les Réseaux de Neurones Convolutifs (CNN) et les Réseaux de Neurones Récurrents (RNN) ont joué un rôle dans ce domaine.

Malgré les avancées en IA, les études axées spécifiquement sur les grands modèles de langage (LLMs) pour détecter les clones de code restent limitées. Les LLMs ont montré un grand potentiel pour comprendre et générer du langage naturel. Cependant, leur efficacité pour identifier les clones de code reste largement inexplorée.

#L'étude des grands modèles de langage

Les avancées récentes dans les LLMs les ont rendus plus complexes et capables. Ils ont été utilisés avec succès dans divers domaines comme la santé et la traduction automatique. Cependant, le domaine de l'ingénierie logicielle pose des défis uniques. La programmation nécessite de la précision, une cohérence logique et une exécution sans erreur, ce qui rend la tâche plus difficile pour les LLMs.

Certaines études antérieures ont commencé à évaluer les LLMs pour des tâches en ingénierie logicielle, y compris le génération de code et l'écriture de documentation. Cependant, peu se sont concentrées sur l'efficacité de ces modèles pour détecter les clones de code, en particulier parmi différents types de clones et ensembles de données.

#Objectif de la recherche

Cette étude vise à évaluer les capacités de deux modèles LLM, à savoir GPT-3.5 et GPT-4, dans la détection de clones de code. Une partie cruciale de cette évaluation est de déterminer s'il y a des différences de performance entre l'identification des clones de code générés par des humains et ceux générés par des LLMs.

#Questions de recherche

La recherche cherche à répondre à deux questions principales :

1. Quelle est la performance de GPT-3.5 par rapport à GPT-4 dans l'identification de différents types de clones de code ?
2. Les deux modèles montrent-ils des niveaux de performance différents dans la détection de clones de code réalisés par des humains par rapport à ceux produits par des LLMs ?

#Méthodologie

Pour mener l'étude, les chercheurs ont utilisé deux ensembles de données. Le premier est BigCloneBench, qui contient des clones de code créés par des humains, et le second est GPTCloneBench, qui inclut des clones de code générés par des LLMs.

Les chercheurs ont filtré les échantillons de code pour garantir des entrées uniques et ont sélectionné 300 exemples de chaque ensemble de données pour évaluation. Ils se sont concentrés sur le maintien d'une bonne représentation des différents types de clones et niveaux de similarité au sein des échantillons sélectionnés.

#Choisir la bonne approche pour l'évaluation

Quand on bosse avec des LLMs, la manière dont les questions sont posées (appelées prompts) joue un rôle significatif dans leur performance. Les chercheurs ont exploré différentes méthodes pour créer des prompts et ont découvert que l'utilisation d'une approche à quelques exemples produisait de meilleurs résultats que celle à un seul exemple.

Dans un prompt à quelques exemples, des instructions claires sont données, accompagnées d'exemples. Cette méthode s'est avérée efficace pour guider les modèles afin de déterminer avec précision si une paire de code donnée est un clone.

#Analyse des performances

L'étude a d'abord examiné à quel point GPT-3.5 et GPT-4 étaient performants dans la détection des clones de code. Ils ont mesuré les vrais positifs (identifications correctes) et les faux négatifs (identifications manquées) à travers différents types de clones de code.

Les deux modèles ont montré une performance exceptionnelle avec les clones de Type-1, atteignant de hauts taux de vrais positifs. Dans le cas des clones de Type-2, GPT-4 a significativement surpassé GPT-3.5. Cependant, pour des types de clones plus complexes, la performance variait. Bien que GPT-4 ait bien performé, il avait encore du mal avec les clones de Type-4, qui nécessitent une compréhension plus profonde de la fonctionnalité du code.

Les chercheurs ont aussi comparé les performances des modèles en fonction de la similarité des paires de code. Ils ont observé que les deux modèles trouvaient plus facile d'identifier des clones avec des scores de similarité plus élevés.

#Comparaison des clones de code générés par des humains et par des LLMs

En évaluant les deux sources de clones de code, les chercheurs ont découvert que les deux modèles identifiaient mieux les clones générés par les LLMs que ceux générés par des humains. En particulier, GPT-4 a montré un écart de performance plus faible entre les deux types, indiquant qu'il pouvait détecter des clones de manière plus robuste à travers différents ensembles de données.

#Conclusion

L'étude souligne qu'alors que les LLMs comme GPT-3.5 et GPT-4 montrent un grand potentiel dans la détection des clones de code, il reste encore de la marge pour s'améliorer, notamment pour identifier des types de clones plus complexes. Les résultats indiquent que les LLMs sont meilleurs pour reconnaître le code qu'ils ont eux-mêmes généré plutôt que des clones de code du monde réel.

Les efforts futurs pourraient impliquer des tests avec de plus grands ensembles de données et divers langages de programmation. De plus, comparer les LLMs avec d'autres méthodes traditionnelles de détection de clones de code pourrait donner une image plus claire de leurs capacités.

En fin de compte, à mesure que le développement logiciel continue d'évoluer, améliorer les capacités des LLMs pour reconnaître les clones de code sera essentiel pour soutenir efficacement les ingénieurs logiciels et maintenir la qualité du code.