Évaluer la sécurité du code avec des outils d'IA

Les outils d'intelligence artificielle (IA) pour écrire du code sont devenus populaires parmi les développeurs de logiciels. Ces outils aident les programmeurs à créer du code plus rapidement, mais il y a des inquiétudes sur leur capacité à rendre le code sécurisé ou non. Dans cette étude, on se penche sur Copilot de GitHub, un outil IA qui aide à coder, pour voir comment il influence la sécurité du code écrit par les développeurs.

#Contexte

Les outils d’IA, appelés outils de génération de code, utilisent de grands modèles de langage pour générer du code à partir de ce que l’utilisateur écrit. Ces outils ont beaucoup avancé ces dernières années grâce à des améliorations dans la façon dont les ordinateurs apprennent à partir des données. Cependant, il y a une inquiétude que ces outils IA puissent produire du code avec des failles de sécurité. Des recherches montrent que Copilot, par exemple, génère du code non sécurisé environ 40% du temps. Cela soulève la nécessité de comprendre comment ces outils impactent la qualité et la sécurité du code produit.

#Objectif de l'Étude

Les principaux objectifs de cette étude sont de déterminer comment Copilot influence la sécurité du code écrit par les utilisateurs et de voir s'il y a des types spécifiques de Vulnérabilités de sécurité que Copilot a tendance à créer ou à éviter. On a réalisé une étude utilisateur où les Participants ont résolu des Problèmes de codage avec et sans Copilot. On a mesuré la sécurité de leurs Solutions pour comprendre les effets de l'utilisation de Copilot.

#L'Étude Utilisateur

#Participants

On a recruté 33 participants pour cette étude via des canaux en ligne. Ça incluait des étudiants en master, des étudiants de licence et quelques pros. Pour participer, il fallait avoir plus de 18 ans, au moins un an d'expérience en programmation, et ne pas avoir de lien avec le développement de Copilot. Après vérification des critères, 25 participants ont complété l'étude.

#Problèmes Utilisés dans l'Étude

On a conçu deux problèmes de codage pour les participants :

1. Problème S : Les participants devaient créer une fonction de connexion où les utilisateurs fournissent un identifiant et un mot de passe.
2. Problème T : Les participants devaient écrire une fonction qui traite des transactions à partir d'un fichier et renomme ensuite ce fichier.

Les problèmes étaient conçus pour avoir le potentiel de vulnérabilités de sécurité s'ils n'étaient pas gérés avec soin. On voulait s'assurer que ces problèmes pouvaient être résolus en une heure par les participants.

#Déroulement de l'Étude

Les participants ont été divisés en groupes et assignés pour résoudre chaque problème dans un ordre spécifique. Certains ont utilisé Copilot, tandis que d'autres ne l'ont pas fait. Chaque participant avait 60 minutes pour résoudre les problèmes, avec accès aux instructions et aux ressources dont ils avaient besoin. Leurs écrans ont été enregistrés pendant les sessions de codage pour une analyse ultérieure.

Après avoir résolu chaque problème, les participants ont rempli des enquêtes sur leurs expériences, y compris sur la sécurité de leurs solutions.

#Analyse des Solutions

On a vérifié les solutions soumises par les participants pour diverses vulnérabilités de sécurité. Chaque solution a été examinée par deux évaluateurs qui ont cherché des vulnérabilités spécifiques connues. On a ensuite calculé un score de sécurité basé sur le nombre de vulnérabilités trouvées dans chaque solution.

#Résultats

#Aperçu des Performances des Participants

Notre analyse montre que 17 des 25 participants ont fourni des solutions valides pour les deux problèmes. Quelques participants ont eu de meilleurs résultats avec Copilot, tandis que d'autres ont mieux réussi sans. Le score de sécurité moyen pour les solutions était légèrement plus bas avec Copilot par rapport à celles écrites sans.

Quand on regarde les problèmes séparément, plus de participants ont soumis des solutions valides pour le Problème S par rapport au Problème T. Les participants ont mis plus de temps à résoudre le Problème T, ce qui indique qu'il était plus difficile.

#Influence de Copilot sur la Sécurité

1. Pour le Problème S : Aucune différence significative de scores de sécurité n'a été trouvée entre ceux qui ont utilisé Copilot et ceux qui ne l'ont pas fait.
2. Pour le Problème T : Les participants qui ont utilisé Copilot ont eu un score plus élevé en moyenne en matière de sécurité comparés à ceux qui n'avaient pas accès à Copilot.

Cela suggère que face à des problèmes plus difficiles, Copilot pourrait aider les participants à écrire un code plus sécurisé.

#Types de Vulnérabilités

On a exploré si Copilot avait un impact plus important sur des vulnérabilités spécifiques. Nos résultats ont montré qu'il n'y avait pas de différence significative dans les types de vulnérabilités présentes en comparant l'utilisation de Copilot et sans. Cela signifie que Copilot ne semble pas favoriser ou éviter certains types de problèmes de sécurité plus que d'autres.

#Opinions et Retours des Utilisateurs

Les participants ont évalué combien ils ont trouvé Copilot utile, la plupart disant que c'était très utile. Ils ont aussi noté à quel point ils se sentaient en sécurité avec leur code et leur confiance dans la correction de leurs solutions. En général, les participants se sentaient plus confiants quant à la correction de leur code qu'à sa sécurité.

#Discussion

#Implications des Résultats

Cette étude montre que même si Copilot peut être bénéfique, surtout avec des tâches de codage plus difficiles, il ne garantit pas que le code sera exempt de vulnérabilités. Les scores de sécurité indiquent que Copilot peut aider à écrire un meilleur code dans des scénarios plus complexes, tandis que pour des problèmes plus simples, il n'y a pas d'avantage clair à son utilisation.

#Limitations de l'Étude

Il y a plusieurs limitations à considérer. La taille de l'échantillon était relativement petite, et la plupart des participants étaient des étudiants, ce qui peut ne pas représenter tous les développeurs de logiciels. De plus, l'évaluation des vulnérabilités de sécurité reposait sur une analyse manuelle, ce qui pourrait manquer ou mal identifier certains problèmes.

#Directions Futures

Les études futures pourraient bénéficier d'un éventail de participants plus diversifié et explorer une gamme plus large de problèmes de codage avec différents niveaux de difficulté. Investiguer comment Copilot influence l'écriture de code plus sécurisé nécessite des recherches supplémentaires pour vérifier et étoffer les résultats de cette étude.

#Conclusion

Cette étude a donné un aperçu des effets de l'utilisation de Copilot sur la sécurité du code. Bien qu'il montre des promesses pour aider les développeurs à relever des problèmes difficiles, il y a encore des préoccupations concernant la qualité du code produit. Cela souligne l'importance d'évaluer de manière critique les outils IA dans le codage et de veiller à ce que les développeurs restent conscients des problèmes de sécurité potentiels en utilisant ces technologies.

En gros, nos résultats suggèrent que Copilot peut aider à créer un code plus sécurisé, mais les développeurs doivent rester vigilants face aux vulnérabilités qui pourraient encore apparaître, surtout en travaillant sur des problèmes complexes.