Évaluer les compétences en programmation Java des LLMs

Les grands modèles de langage (LLMs) comme ChatGPT ont montré qu'ils peuvent faire pas mal de trucs, y compris écrire du code. Cependant, la plupart des tests qui évaluent comment ces modèles peuvent générer du code sont surtout centrés sur Python. Ça pose un problème parce que d'autres langages, comme Java, ne sont pas assez testés. Dans cet article, on parle de la nécessité de meilleures méthodes d'évaluation pour les LLMs en Programmation Java.

#Problèmes Actuels avec l'Évaluation du Code

#Déséquilibre dans les Langages de Programmation

La plupart des benchmarks utilisés pour évaluer les LLMs sont très orientés vers Python. Environ 95,8 % des benchmarks concernent Python, tandis que seulement cinq benchmarks examinent Java. Ça rend difficile de juger à quel point les LLMs peuvent écrire du code Java, puisqu'ils ont surtout été formés et évalués sur Python.

#Déséquilibre dans la Granularité du Code

Beaucoup de benchmarks existants se concentrent sur des fonctions ou des instructions uniques. Plus de 83,3 % des benchmarks évaluent les LLMs sur cette petite échelle. Même si ça peut montrer à quel point ils peuvent écrire de petits morceaux de code, les Projets Java de la vraie vie demandent souvent de comprendre des contextes plus larges, comme plusieurs classes ou des projets entiers. Il y a à peine des évaluations qui regardent comment les LLMs peuvent gérer ces plus grands scopes, surtout en Java.

#Manque de Fonctionnalités Avancées

La plupart des benchmarks testent seulement des compétences de codage basiques comme les variables et les boucles. Ils n'examinent pas vraiment des concepts avancés de Programmation Orientée Objet (POO), qui sont critiques en Java. Des fonctionnalités comme l'encapsulation, l'héritage et le polymorphisme sont souvent négligées, ce qui rend difficile d'évaluer à quel point les LLMs peuvent générer du code Java qui utilise ces fonctionnalités.

#Introduction d'un Nouveau Benchmark

Pour combler ces lacunes, on propose un nouveau benchmark spécifiquement pour Java, qui inclut des évaluations à l'échelle de projets réels intégrant des fonctionnalités avancées de POO. Ce benchmark se compose de quatre projets Java avec un total de 389 méthodes réparties sur 106 classes. Le benchmark est soigneusement conçu pour assurer une couverture de test complète et une bonne utilisabilité.

#Description des Projets

Les quatre projets Java sont destinés aux étudiants d'un cours Java de niveau débutant. Ces projets incluent une large gamme de fonctionnalités Java, allant des concepts basiques aux concepts avancés de POO. Chaque projet est conçu pour être engageant et couvre des compétences Java importantes comme la lecture de fichiers et la gestion des exceptions.

Chaque projet a un nombre variable de fonctions et de classes, mais tous se situent dans une plage similaire. Ces projets contiennent entre 2 560 et 6 926 lignes de code, offrant un contexte significatif pour tester les LLMs face à des tâches de programmation plus importantes par rapport aux benchmarks existants.

#Construction du Test

Les cas de test pour ces projets ont été soigneusement construits par des programmeurs Java expérimentés. Il y a au total 396 tests répartis sur les quatre projets. En moyenne, les suites de tests assurent que 92 % des classes, 87 % des fonctions et 86,75 % des lignes sont couvertes par les tests. Cela représente une bonne base pour évaluer à quel point les LLMs peuvent générer du code Java.

#Performance Humaine en Programmation Java

Les projets ont été testés avec 282 étudiants de premier cycle pour évaluer leurs niveaux de difficulté. La performance des étudiants sert de benchmark contre lequel on peut comparer les capacités des LLMs. Le score moyen obtenu par les étudiants était de 90,93 sur 100, ce qui indique que la suite de tests est bien structurée et maintient un niveau de difficulté approprié.

#Évaluation des LLMs

Pour évaluer les LLMs sur notre nouveau benchmark Java, on a conçu un plan systématique impliquant trois contextes différents et diverses stratégies de synthèse. L'évaluation inclut deux niveaux d'évaluation : examiner les classes individuelles et tester les projets dans leur ensemble.

#Contextes

Différents contextes peuvent avoir un impact significatif sur la performance des LLMs. On a exploré trois réglages :

1. Contexte Maximum : Ce réglage fournit au LLM l'ensemble du squelette du projet, lui donnant toutes les informations disponibles.
2. Contexte Minimum : Cette approche utilise seulement la classe à compléter, restreignant les informations qui pourraient aider le LLM.
3. Contexte Sélectionné : Dans ce réglage, seules les signatures de méthode pertinentes sont fournies, équilibrant la quantité d'information avec les besoins de la tâche.

#Stratégies de Synthèse

On a considéré trois stratégies pour la génération de méthodes au sein d'une classe :

1. Synthèse Indépendante : Chaque méthode est créée séparément, sans s'influencer les unes les autres.
2. Synthèse Holistique : Toutes les méthodes d'une classe sont générées en même temps.
3. Synthèse Incrémentale : Les méthodes sont créées une par une dans un ordre spécifique.

À travers nos expériences, ces stratégies ont montré des niveaux d'efficacité variés, la synthèse holistique menant généralement à de meilleures Performances.

#Résultats des Expériences

#Performance Globale des LLMs

Dans nos tests, les LLMs ont montré un écart notable entre leurs compétences en programmation et celles des étudiants de premier cycle. Même les modèles les plus performants n'ont atteint qu'un taux de réussite d'environ 41,17 % pour la programmation à l'échelle de projets Java, tandis que les étudiants ont obtenu une moyenne de 90,93 %.

#L'Importance du Contexte

Nos expériences ont montré que l'utilisation du réglage de contexte sélectionné a donné les meilleurs résultats sur tous les indicateurs. Fournir trop d'informations dans le contexte maximum ou trop peu dans le contexte minimum a tendance à nuire à la performance.

#Importance de l'Ordre de Synthèse

L'ordre dans lequel les méthodes sont générées au sein d'une classe peut faire une différence. On a découvert que synthétiser dans un ordre aléatoire menait souvent à de meilleurs résultats comparé aux ordres strictement séquentiels ou inversés.

#Erreurs Courantes

On a également examiné les problèmes courants qui se sont posés lors des évaluations des LLMs. Les erreurs pouvaient généralement être réparties en deux catégories : les erreurs de complétion, où des méthodes étaient laissées vides, et les erreurs de compilation, où le code ne pouvait pas être compilé avec succès. De plus, on a identifié que beaucoup d'échecs de tests étaient dus à une mauvaise compréhension de la documentation ou à des implémentations triviales.

#Conclusion

En conclusion, notre benchmark proposé comble une lacune importante dans l'évaluation des capacités de programmation Java des LLMs. Il vise à fournir une compréhension plus complète de la façon dont ces modèles peuvent gérer des tâches de programmation du monde réel tout en intégrant des fonctionnalités avancées et des contextes plus larges. Les travaux futurs devraient continuer à affiner ces benchmarks et explorer la performance de divers LLMs à travers différents langages de programmation.

Avec ce nouveau benchmark, on espère encourager des évaluations plus robustes des LLMs et finalement améliorer leur capacité à générer du code.

#Travaux Futurs

En regardant vers l'avenir, le besoin de nouvelles évaluations devient clair. Les insights recueillis à partir de ces évaluations seront non seulement vitaux pour le développement des LLMs, mais aideront aussi à informer les éducateurs sur les compétences en programmation des étudiants en pratique. En continuant à affiner les benchmarks et à évaluer les LLMs par rapport à ceux-ci, on peut mieux comprendre les forces et les faiblesses de ces modèles dans divers contextes de programmation.

De plus, élargir le type de tests et de projets inclus dans le benchmark pourrait encore améliorer notre capacité à évaluer avec précision la performance des LLMs. Développer des scénarios plus avancés dans lesquels les LLMs sont testés fournirait une image plus complète de leurs capacités de codage et de la façon dont ils pourraient gérer des tâches complexes rencontrées dans un véritable développement logiciel.

#Appel à l'Action

Le lancement de ce benchmark invite à la participation des développeurs de modèles et des chercheurs. On encourage l'exploration de ces nouvelles méthodes de test pour faire avancer les choses et améliorer les capacités de codage alimentées par les LLMs. En s'engageant avec ce nouveau benchmark, les développeurs peuvent obtenir des insights sur les performances de leurs modèles tout en contribuant à un domaine de recherche en pleine croissance visant à rendre la génération de code plus efficace et fiable.

À travers cet effort collaboratif, on peut repousser les limites de ce que les LLMs peuvent accomplir dans les langages de programmation au-delà de Python et ouvrir de nouvelles possibilités pour leur utilisation dans le développement logiciel et l'éducation.