Améliorer les infos sur le marché du travail avec des modèles de langue

Ce document est protégé par le droit d'auteur de ses auteurs et peut être utilisé sous la licence Creative Commons Attribution 4.0 International (CC BY 4.0).

#Introduction aux Systèmes de Recommandation en Ressources Humaines

L'essor de la technologie a transformé de nombreux aspects de nos vies, y compris le marché du travail. Avec plus de données disponibles, les chercheurs et les organisations cherchent à mieux comprendre le marché de l'emploi. Cependant, beaucoup d'informations disponibles ne sont pas bien organisées, ce qui rend leur utilisation difficile. Donc, trouver des moyens de trier ces données et d'en tirer des informations utiles est essentiel.

Cet article discute de la façon dont nous pouvons améliorer la performance des modèles qui traitent le langage (appelés Modèles de Langage Pré-entraînés ou PLM) lorsqu'ils sont appliqués à des tâches liées au marché du travail. Nous nous concentrons sur des techniques de réglage spécifiques, comme le réglage par incitation et le réglage d'instructions, qui aident ces modèles à fournir de meilleures informations sur les sujets liés à l'emploi.

#Le Paysage du Marché du Travail

Le marché du travail aujourd'hui a une abondance d'informations brutes, ce qui peut bénéficier aux entreprises, aux écoles et aux chercheurs d'emploi. Cependant, le défi est de donner un sens à ces données non structurées. Beaucoup d'informations disponibles manquent de grands ensembles de données étiquetées qui aident à entraîner efficacement des modèles.

Les chercheurs travaillent à créer des formats structurés pour représenter les données liées aux emplois. Cet effort inclut le développement de taxonomies et de cadres comme ESCO, ISCO et O*NET. Ces cadres aident à lier les compétences et les emplois, rendant les données plus faciles à analyser.

Un objectif important dans ce domaine est de reconnaître et de classer les compétences et les rôles professionnels à partir des données non structurées disponibles. En faisant cela, nous pouvons mieux comprendre les tendances et les modèles sur le marché du travail, ce qui conduit à de meilleures recommandations pour les chercheurs d'emploi.

La plupart des méthodes existantes s'appuient sur l'apprentissage supervisé, qui nécessite de grandes quantités de données étiquetées. Cependant, trouver de telles données peut être un défi, surtout dans plusieurs langues. De plus, le marché du travail change rapidement; donc, garder les données structurées à jour nécessite beaucoup de temps et d'efforts. Souvent, ce sont des experts du domaine qui effectuent ce travail.

#Proposition pour Améliorer les Modèles de Langage

Cet article introduit une nouvelle approche utilisant des PLM pour créer de grandes quantités de données étiquetées pour différentes tâches liées à l'analyse du marché du travail. Nous nous concentrons sur quatre tâches principales :

1. Classification de Relations : Cette tâche prédit le type de relation entre les compétences et les professions.
2. Classification d'Entités : Cette tâche identifie si un terme est une compétence ou une profession.
3. Liaison d'Entités : Cela consiste à relier différentes formes superficielles d'entités liées aux emplois à leurs formes principales de manière structurée.
4. Réponses aux Questions : Cette tâche répond à des questions sur la relation entre des descriptions et les compétences ou professions associées.

Pour atteindre nos objectifs, nous posons plusieurs questions :

1. Les PLM peuvent-ils bien fonctionner sur des tâches du marché du travail sans formation spécifique ?
2. Le réglage d'un PLM sur des ensembles de données mixtes améliore-t-il sa performance sur des tâches du marché du travail ?
3. Un PLM réglé peut-il transférer ses compétences acquises à diverses tâches sur le marché du travail ?

Nous allons démontrer que l'utilisation de techniques de réglage spécifiques au domaine peut considérablement améliorer la performance dans l'extraction des compétences et des rôles professionnels à partir des données.

#Contexte sur les Modèles de Langage Pré-entraînés

Les développements récents dans les PLM comme GPT, BERT et T5 ont montré leur capacité à apprendre à partir de vastes quantités de données textuelles. Bien que ces modèles aient beaucoup de connaissances, ils nécessitent toujours un entraînement supplémentaire sur des tâches spécifiques pour appliquer efficacement ces connaissances.

Certains chercheurs ont essayé d'améliorer le processus de réglage des modèles de langage. Ce travail inclut des efforts pour combiner des connaissances structurées provenant de taxonomies dans des modèles spécifiques aux tâches.

Par exemple, certaines études ont développé des modèles comme KnowBERT, qui utilisent des bases de connaissances pour améliorer la représentation des entités dans le texte. D'autres ont proposé des modèles comme TransE, qui se concentrent sur la compréhension des relations hiérarchiques au sein des ensembles de données.

Différentes méthodes explorent comment mieux utiliser le réglage basé sur les instructions pour améliorer la performance des modèles sur des tâches spécifiques. Par exemple, certains chercheurs ont montré que le réglage par instructions conduit à des améliorations sur des tâches non vues.

#Compréhension de la Taxonomie ESCO

ESCO signifie la taxonomie Européenne des Compétences, Compétences, Qualifications et Professions. Elle fournit une classification structurée des compétences et des rôles professionnels. ESCO comprend des milliers d'entrées et couvre de nombreuses langues, ce qui en fait une ressource essentielle pour l'analyse du marché du travail.

Au sein d'ESCO, il y a des relations hiérarchiques, qui décrivent comment un concept est une catégorie plus générale d'un autre. Il existe également des relations non hiérarchiques, qui relient différentes compétences et professions d'une manière qui ne suit pas une hiérarchie stricte.

Nous allons exploiter les connaissances contenues dans la taxonomie ESCO pour améliorer notre approche de réglage des modèles de langage. En utilisant ESCO, nous pouvons créer des modèles qui aident les modèles à reconnaître et à classer efficacement les rôles et les compétences professionnels.

#Mise en œuvre du Réglage par Incitation avec des Règles

Notre approche combine le réglage par incitation avec des règles (PTR) pour guider les PLM. Cette technique fonctionne en créant des incitations qui remplissent les mots manquants dans les phrases. Le modèle utilise ces incitations pour classer les phrases en fonction du contexte fourni.

Dans notre méthode, nous créons des verbaliseurs qui relient les catégories de compétences et de professions à des mots spécifiques que nous nous attendons à ce que le modèle utilise. En prédisant ces mots, le PLM réalise efficacement la tâche de classification.

Nous illustrons le processus avec un exemple. Pour une compétence comme "s'assurer de la bonne température du métal", nous pourrions créer une incitation comme "[CLS] le [MASK] s'assurer de la bonne température du métal." La partie [MASK] indique où le modèle doit compléter sa prédiction.

Nous allons tester comment cette technique de réglage par incitation influence la performance du modèle dans la reconnaissance des compétences et des professions.

#Réglage Basé sur les Instructions

Le réglage basé sur les instructions apprend au PLM à répondre à des instructions en langage naturel. Cette approche peut améliorer la capacité du modèle à exécuter des tâches spécifiques de manière efficace.

Dans nos expériences, nous construisons manuellement des modèles avec des tâches claires pour le modèle. Cette méthode aide le modèle à comprendre ce qu'on attend de lui lorsqu'il est confronté à une question ou une incitation.

En faisant cela, nous visons à montrer que le réglage basé sur les instructions peut conduire à des améliorations substantielles dans la performance sur des tâches liées à l'emploi.

#Configuration Expérimentale

Nous voulons tester notre approche dans divers contextes. Nos objectifs principaux sont de voir à quel point les PLM fonctionnent bien sans formation préalable et comment le réglage affecte leur capacité à gérer les tâches du marché du travail.

Nous nous concentrons sur quatre tâches :

1. Classification d'Entités (EC)
2. Classification de Relations (RC)
3. Liaison d'Entités (EL)
4. Réponses aux Questions (QA)

Nous allons générer des ensembles de données pour ces tâches en utilisant des modèles basés sur la taxonomie ESCO. Chaque ensemble de données correspond à une tâche différente, fournissant un moyen structuré pour le modèle d'apprendre.

#Construction d'Ensemble de Données

L'ensemble de données pour la classification d'entités et la classification de relations est construit à partir des types de relations de la taxonomie ESCO. Par exemple, nous pouvons utiliser les relations "estEssentielPour" ou "estOptionnelPour" pour créer des exemples d'entraînement. Chaque instance comprendra des paires de compétences et de professions reliées par ces relations.

Pour la tâche de liaison d'entités, nous nous appuyons sur la relation "labelAlternatif" pour mapper différentes formes de termes liés aux emplois à leurs noms principaux. Cette configuration permet au modèle d'apprendre à faire correspondre des mots de surface avec les termes sous-jacents corrects.

L'ensemble de données pour les réponses aux questions comprendra des descriptions de diverses entités dans ESCO. Nous créerons des instructions qui guident le modèle pour déterminer si une description correspond à une compétence ou une profession spécifique.

#Phases d'Expérimentation

Nous allons réaliser plusieurs phases d'expérimentations :

#Phase 1 : Apprentissage Zero-shot

Dans cette phase, nous testons comment les PLM fonctionnent sans formation spécifique. En appliquant les modèles directement à nos ensembles de données générés par incitation, nous pouvons évaluer leur capacité à gérer les tâches à accomplir.

#Phase 2 : Apprentissage K-shot

Ensuite, nous examinerons comment fournir quelques exemples étiquetés peut influencer la performance des modèles. En variant le nombre d'exemples utilisés pour l'entraînement, nous visons à identifier la quantité optimale nécessaire pour un apprentissage efficace.

#Phase 3 : Apprentissage Multitâche

Enfin, nous explorerons les avantages d'entraîner les modèles sur plusieurs tâches simultanément. En faisant cela, nous espérons voir si les connaissances d'une tâche peuvent améliorer la performance sur une autre.

#Métriques d'Évaluation

Pour mesurer le succès de nos expériences, nous allons utiliser les scores F1 comme notre principale métrique d'évaluation. En moyennant les résultats sur plusieurs essais, nous pouvons obtenir une mesure plus fiable de la performance.

Dans nos tests, nous gérerons soigneusement les ensembles d'entraînement et de test pour éviter tout chevauchement, garantissant que les modèles sont évalués avec précision.

#Résultats des Expériences

#Résultats de l'Apprentissage Zero-shot

Les résultats initiaux montrent que le modèle réglé par instructions surpasse significativement le modèle standard dans des tâches comme répondre à des questions et lier des entités. Cependant, il ne performe pas aussi bien dans la tâche de classification d'entités et de relations combinées, où le modèle non réglé par instructions a un avantage.

#Résultats de l'Apprentissage K-shot

Dans la phase d'apprentissage K-shot, nous observons que le modèle réglé par instructions continue de mieux performer dans l'ensemble, surtout avec le bon nombre d'exemples. Différentes tâches peuvent nécessiter des quantités variées d'exemples pour des résultats optimaux.

#Résultats de l'Apprentissage Multitâche

Enfin, dans l'expérience d'apprentissage multitâche, nous découvrons que certaines tâches bénéficient de l'entraînement sur des incitations supplémentaires. Cependant, la meilleure performance vient souvent quand le modèle se concentre sur la tâche à accomplir.

#Conclusion et Directions Futures

Notre travail démontre que le réglage efficace des PLM peut conduire à des améliorations significatives dans les tâches liées au marché du travail. Le réglage basé sur les instructions et les méthodes basées sur les incitations peuvent renforcer la capacité des modèles de langage à analyser les données liées aux emplois sans nécessiter de préparation manuelle extensive.

Bien que nous ayons obtenu des résultats prometteurs, certaines limites existent encore. Par exemple, nous avons uniquement utilisé des correspondances un-à-un pour les verbaliseurs, et notre focus était principalement sur la classification binaire. Les recherches futures pourraient explorer des relations plus complexes et s'étendre à d'autres langues.

Nous croyons que cette recherche pose les bases pour développer davantage des méthodes rentables pour améliorer les modèles de langage pour les applications sur le marché du travail, offrant finalement de meilleures informations pour les entreprises et les chercheurs d'emploi.