Naviguer dans les classifications de job pour les nouveaux diplômés

Alors que la technologie change le marché de l'emploi, les nouveaux diplômés font souvent face à des défis pour trouver un boulot. Beaucoup de postes de débutants demandent maintenant plus d'expérience qu'avant, ce qui crée un fossé entre ce que les diplômés ont et ce que les employeurs veulent. Cette étude de cas examine l'utilisation de programmes informatiques avancés pour aider à classer les emplois comme adaptés ou non aux récents diplômés. L'objectif est de faciliter la recherche d'emplois convenables en utilisant une analyse de texte intelligente.

#Le Problème

Le marché de l'emploi peut sembler écrasant, surtout pour les nouveaux diplômés. Des enquêtes montrent que de nombreux emplois de débutants exigent plusieurs années d'expérience, ce qui complique l'entrée sur le marché du travail pour les nouveaux diplômés. Avec plus d'un million d'Offres d'emploi au Royaume-Uni à chaque trimestre, trier ces annonces pour trouver les bonnes opportunités demande beaucoup de temps et d'efforts.

Il y a un décalage entre l'éducation et les exigences des emplois, ce qui peut mettre les diplômés en difficulté financière. Beaucoup de postes ne précisent pas clairement quelles qualifications sont nécessaires, ce qui entraîne de la confusion. Cette étude se concentre sur la classification des emplois, déterminant si les ouvertures de postes conviennent aux récents diplômés.

#La Méthode

Pour aborder ce problème, on a exploré différentes façons de classer les emplois en utilisant une méthode appelée "prompt engineering." Cette technique consiste à créer des questions ou des instructions claires pour que des modèles de langage avancés évaluent les offres d'emploi.

On a utilisé deux types principaux de programmes informatiques pour cette étude. Le premier groupe regroupe des méthodes traditionnelles comme les Machines à vecteurs de support (SVM), connues pour leur efficacité dans l'analyse de texte. Le deuxième groupe inclut des Modèles de Langage de Grande Taille (LLMs), qui peuvent générer du texte ressemblant à du langage humain et comprendre mieux les contextes linguistiques.

On a spécifiquement testé deux versions de GPT-3.5, connues sous les noms de text-davinci-003 et gpt-3.5-turbo, pour voir à quel point ils pouvaient bien classer les offres d'emploi.

#Collecte et Préparation des Données

Notre étude s'est basée sur des offres d'emploi du Royaume-Uni collectées sur deux ans. Des experts humains ont examiné ces annonces, les classant en deux catégories : "Diplômé" pour les emplois adaptés aux nouveaux diplômés et "Non-Diplômé" pour ceux qui ne le sont pas. On a assuré une classification de haute qualité grâce à un processus rigoureux, créant un ensemble de données fiable pour former les modèles.

L'ensemble de données contenait au total 10 000 offres d'emploi, avec une répartition d'environ 30 % classées comme Diplômé et 70 % comme Non-Diplômé. Ce processus de classification était essentiel car il aide le modèle à apprendre à partir d'exemples précis.

#Métriques d'Évaluation

Pour évaluer la performance de nos modèles, on a utilisé une mesure appelée Précision à 95 % de Rappel (P@95%R). La Précision nous indique à quel point le modèle est précis dans son identification des emplois adaptés tout en maintenant un taux de rappel élevé, ce qui signifie qu'il trouve la majorité des emplois réellement destinés aux diplômés.

Maintenir un taux de rappel élevé est crucial car on veut minimiser les chances de rater des postes convenables pour les diplômés. On a aussi examiné d'autres métriques, comme le rappel global, pour comprendre comment les modèles ont performé dans différents scénarios.

#Méthodes Traditionnelles vs. Modèles Avancés

On a commencé par tester des méthodes traditionnelles comme les recherches par mots clés et les classificateurs supervisés. Les simples vérifications de mots clés consistaient à passer au crible les offres d'emploi pour des phrases communes indiquant qu'il s'agit de postes de débutants. Bien que cette méthode ait fourni une base de référence, il est rapidement devenu évident que des approches plus avancées donneraient de meilleurs résultats.

En utilisant les SVM, on a aussi établi une ligne de base de performance, mais cela a vite été surpassé par les méthodes d'apprentissage profond. Un modèle appelé DeBERTa-V3, finement réglé pour des tâches de classification de texte, a montré des résultats impressionnants.

Cependant, le point fort était les Modèles de Langage de Grande Taille (LLMs). Nos tests ont révélé que GPT-3.5-turbo performait exceptionnellement bien, dépassant les modèles précédents en termes de précision au seuil de 95 % de rappel.

#L'Impact du Prompt Engineering

Le cœur de notre étude était de peaufiner les prompts qu'on utilisait pour guider les modèles. Des petits changements dans la formulation de nos questions ont eu des effets significatifs sur leur performance.

Par exemple, on a commencé avec un prompt basique demandant si un emploi est adapté pour un nouveau diplômé. Puis on a expérimenté avec des questions plus structurées en fournissant deux exemples d'emplois adaptés. Étonnamment, cette méthode n'a pas donné de résultats meilleurs que l'approche plus simple.

Ensuite, on a essayé de donner des instructions explicites au modèle, définissant son rôle comme un expert en conseil de carrière. Cela a considérablement amélioré la performance par rapport aux tentatives précédentes. On a aussi tenté de guider le raisonnement du modèle en mettant l'accent sur le fait que certaines exigences de poste, comme les stages, pourraient encore être appropriées pour les diplômés.

#Découvertes Clés des Modifications de Prompts

À travers nos expériences, on a trouvé que les prompts les plus efficaces étaient ceux qui combinaient des instructions claires, des modèles structurés pour les réponses, et un renforcement positif. Par exemple, s'adresser au modèle avec un nom et utiliser un langage amical augmentait sa volonté de suivre les instructions.

Le prompt final qui a donné les meilleurs résultats a créé un ensemble d'instructions détaillées qui clarifiait le rôle du modèle tout en fixant des attentes sur comment il devrait analyser les offres d'emploi. Cette approche a conduit à des taux de précision et de rappel élevés, rendant le modèle beaucoup plus fiable pour filtrer les offres d'emploi.

#Résultats et Discussion

Les résultats de notre étude montrent clairement les avantages d'utiliser des modèles de langage avancés et des techniques efficaces de prompt engineering. Le modèle le plus performant, gpt-3.5-turbo, a fourni des classifications précises, montrant une amélioration notable en termes de précision par rapport aux méthodes traditionnelles.

Alors que les modèles traditionnels comme les SVM ont posé une base solide, ils n'ont pas réussi à faire face aux complexités des descriptions de postes modernes. Les LLMs, surtout quand ils sont bien guidés par le biais du prompt engineering, se sont révélés supérieurs pour analyser les détails des emplois et comprendre les signaux subtils dans le langage.

De plus, de petites modifications dans les prompts ont créé un grand impact sur les capacités de classification des modèles. Par exemple, des instructions simples et des formats structurés pour les réponses ont amélioré la performance des modèles de manière spectaculaire.

#Conclusion

Cette étude souligne le potentiel des modèles de langage modernes pour répondre à des problèmes concrets comme la classification des emplois pour les récents diplômés. L'utilisation de techniques efficaces de prompt engineering a maximisé la performance de ces modèles et a démontré leur capacité à rationaliser le processus de recherche d'emploi.

En perfectionnant notre approche de l'interaction avec ces modèles de langage, on peut faire des avancées significatives pour aider les nouveaux diplômés à trouver des opportunités d'emploi adaptées. À mesure que la technologie évolue, des recherches supplémentaires sur les techniques de prompt et leur impact sur la performance des modèles continueront de révéler de nouvelles possibilités. Les idées tirées de cette étude de cas contribueront au développement continu d'outils destinés à soutenir les individus dans leur transition de l'éducation au monde du travail.