言語モデルを使って雇用市場の洞察を向上させる

この論文は著者によって著作権で保護されており、クリエイティブ・コモンズライセンスの表示 4.0 国際 (CC BY 4.0) のもとで使用できます。

#人事におけるレコメンダーシステムの紹介

技術の発展は私たちの生活の多くの分野を変革してきた、もちろん求人市場もその一つ。データが増える中で、研究者や組織は求人市場をよりよく理解しようとしています。しかし、利用可能な情報はあまり整理されていないことが多く、使いにくいのが現実。だから、このデータを整理して有用な情報を得る方法を見つけるのが重要だよね。

この論文では、労働市場のタスクに適用したときに、言語を処理するモデル（事前学習された言語モデル、PLMとして知られている）のパフォーマンスをどう向上させるかについて話します。具体的なチューニング技術、例えばプロンプトチューニングやインストラクショントレーニングを使って、これらのモデルが職業関連の情報をより良く提供できるようにすることに焦点を当てます。

#労働市場の現状

今の求人市場には生の情報がたくさんあって、ビジネスや学校、求職者にとって役立つ。ただ、問題はこの非構造化データをどうにか理解すること。利用可能な情報の多くは、大きなラベル付きデータセットが不足していて、モデルの効果的なトレーニングが難しい。

研究者たちは、職業関連データを表現するための構造化フォーマットを作成しようとしている。その中には、ESCO、ISCO、O*NETのような分類法やフレームワークの開発も含まれる。これらのフレームワークは、スキルと職業を結びつけて、データを分析しやすくする。

この分野の大きな目標は、入手可能な非構造化データからスキルや職業の役割を認識し分類することだ。そうすることで、労働市場のトレンドやパターンをよりよく理解し、求職者へのより良い推薦につなげられる。

現存の大部分の方法は、ラベル付きデータが大量に必要な監視学習に依存している。でも、そういったデータを見つけるのは特に多言語で難しい。さらに、労働市場は急速に変化するため、構造化データを更新し続けるのには多大な時間と労力が必要。しばしば、これを行うのはドメインの専門家たちだ。

#改善された言語モデルの提案

この論文では、PLMを使って労働市場分析に関連するさまざまなタスクのために大量のラベル付きデータを作成する新しいアプローチを紹介します。私たちは次の4つの主要なタスクに焦点を当てます：

1. 関係分類：このタスクは、スキルと職業の間の関係のタイプを予測します。
2. エンティティ分類：このタスクは、用語がスキルなのか職業なのかを特定します。
3. エンティティリンク：これは、職業関連のエンティティの異なる表現を構造化された方法でその主要な形に結びつけることです。
4. 質問応答：このタスクは、説明と関連するスキルや職業の関係についての質問に答えます。

目標を達成するために、いくつかの質問をします：

1. PLMは特別なトレーニングなしで労働市場タスクでうまく機能するのか？
2. 混合データセットでPLMをファインチューニングすることで、労働市場タスクのパフォーマンスが向上するのか？
3. チューンされたPLMは、学習したスキルを労働市場のさまざまなタスクに移転できるのか？

ドメイン特化型のチューニング技術を使うことで、データからスキルや職業の役割を抽出するパフォーマンスが大幅に向上できることを示します。

#事前学習された言語モデルの背景

GPT、BERT、T5のようなPLMの最近の開発は、大量のテキストデータから学習する能力を示しています。これらのモデルには多くの知識が含まれていますが、その知識を効果的に適用するためには、特定のタスクに対する追加トレーニングが必要です。

一部の研究者は、言語モデルのファインチューニングプロセスを改善しようとしています。この作業には、分類法からの構造化された知識をタスク特化型モデルに組み込む努力が含まれます。

例えば、KnowBERTのようなモデルは、知識ベースを使ってテキスト内のエンティティの表現を強化します。他にも、TransEのようなモデルは、データセット内の階層的関係を理解することに焦点を当てています。

さまざまな方法が、特定のタスクに対するモデルのパフォーマンスを向上させるためにインストラクションベースのファインチューニングをより良く活用する方法を探求しています。例えば、一部の研究者は、インストラクションチューニングが未見のタスクでの改善につながることを示しました。

#ESCO分類法の理解

ESCOは、欧州のスキル、能力、資格、職業の分類法を指します。これはスキルと職業の構造化された分類を提供します。ESCOには数千のエントリーが含まれており、多くの言語をカバーしているため、求人市場分析のための重要なリソースとなっています。

ESCO内には階層的関係があり、これはある概念が別の概念のより一般的なカテゴリであることを示します。また、階層に従わない関係もあり、異なるスキルと職業を厳格な階層に従わない方法で結びつけています。

私たちはESCO分類法の知識を活用して、言語モデルのチューニングアプローチを向上させます。ESCOを利用することで、モデルが職業役割やスキルを効率的に認識し分類するために役立つテンプレートを作成できます。

#ルールによるプロンプトチューニングの実装

私たちのアプローチは、プロンプトチューニングとルールを組み合わせてPLMをガイドするものです。この技術は、文中の欠けた単語を補うプロンプトを作成することで機能します。モデルはこれらのプロンプトを使って文を文脈に基づいて分類します。

私たちの方法では、スキルと職業のカテゴリを特定の単語につなげるバーバライザーを作成します。これらの単語を予測することで、PLMは効果的に分類タスクを実行します。

プロセスを例で示します。「正しい金属温度を確保する」というスキルに対して、"[CLS] the [MASK] ensure correct metal temperature"のようなプロンプトを作成することができます。[MASK]部分は、モデルが予測を埋め込むべき場所を示します。

このプロンプトチューニング技術がスキルと職業を認識するモデルのパフォーマンスにどのように影響するかをテストします。

#インストラクションベースのファインチューニング

インストラクションベースのファインチューニングは、PLMに自然言語の指示に応じることを教えます。このアプローチは、モデルが特定のタスクを効果的に実行する能力を高めることができます。

私たちの実験では、モデルのために明確なタスクを持つテンプレートを手動で構築します。この方法は、モデルが質問やプロンプトに直面したときに期待されることを理解するのに役立ちます。

こうすることで、インストラクションベースのファインチューニングが職業関連タスクのパフォーマンスを大幅に向上させることができることを示したいと思います。

#実験の設定

様々な設定で私たちのアプローチをテストしたいと思います。私たちの主な目標は、PLMが事前トレーニングなしでどれだけうまく機能するか、そしてチューニングが労働市場タスクの処理能力にどう影響するかを見ることです。

私たちは次の4つのタスクに焦点を当てます：

1. エンティティ分類 (EC)
2. 関係分類 (RC)
3. エンティティリンク (EL)
4. 質問応答 (QA)

これらのタスクのために、ESCO分類法に基づくテンプレートを使用してデータセットを生成します。各データセットは異なるタスクに対応しており、モデルが学習するための構造化された方法を提供します。

#データセット構築

エンティティ分類と関係分類のデータセットは、ESCO分類法の関係タイプから構築されます。例えば、"isEssentialFor"や"isOptionalFor"のような関係を使ってトレーニング例を作成できます。各インスタンスには、これらの関係で結ばれたスキルと職業のペアが含まれます。

エンティティリンクタスクでは、"alternativeLabel"関係を利用して、職業関連の用語の異なる形をその主要な名称にマッピングします。このセットアップにより、モデルは表面的な単語を正しい基礎的な用語と一致させる方法を学びます。

質問応答データセットは、ESCO内のさまざまなエンティティの説明で構成されます。特定のスキルや職業に適合するかどうかを判断するためにモデルを導く指示を作成します。

#実験フェーズ

複数の実験フェーズを実施します：

#フェーズ1：ゼロショット学習

このフェーズでは、特定のトレーニングなしでPLMがどれだけうまく機能するかをテストします。生成したプロンプトデータセットにモデルを直接適用して、タスクを処理する能力を評価します。

#フェーズ2：Kショット学習

次に、いくつかのラベル付きの例を提供することで、モデルのパフォーマンスにどのように影響を与えるかを調べます。トレーニングに使用する例の数を変えることで、効果的な学習に必要な最適な数を特定することを目指します。

#フェーズ3：マルチタスク学習

最後に、複数のタスクで同時にモデルをトレーニングするメリットを探ります。そうすることで、一つのタスクから得た知識が別のタスクのパフォーマンスを向上させるかどうかを見たいと思います。

#評価指標

実験の成功を測定するために、F1スコアを主要な評価指標として使用します。複数の実行の結果を平均化することで、パフォーマンスのより信頼性のある測定を得ることができます。

テストでは、トレーニングセットとテストセットのオーバーラップを防ぎ、モデルが正確に評価されるように注意深く管理します。

#実験結果

#ゼロショット学習の結果

初期結果では、インストラクションチューニングされたモデルが質問応答やエンティティリンクのタスクで標準モデルよりも大幅に優れていることが示されています。しかし、関係分類とエンティティ分類が組み合わさったタスクでは、非インストラクションモデルの方が優れています。

#Kショット学習の結果

Kショット学習フェーズでは、インストラクションチューニングされたモデルが全体的に引き続き優れたパフォーマンスを発揮することが観察されます。特に適切な数の例がある場合です。異なるタスクは最適な結果を得るために異なる数の例を必要とする場合があります。

#マルチタスク学習の結果

最後に、マルチタスク学習の実験では、一部のタスクが追加のプロンプトでのトレーニングから利益を得ることが分かりました。しかし、最良のパフォーマンスは、モデルが当該タスクに集中している時に得られます。

#結論と今後の方向性

私たちの研究は、PLMを効果的にチューニングすることで、労働市場に関連するタスクの大幅な改善が可能であることを示しています。インストラクションベースのチューニングとプロンプトベースの方法は、言語モデルが膨大な手動準備なしで職業関連データを分析する能力を強化できます。

期待できる結果を出したとはいえ、いくつかの制限もまだ残っています。例えば、バーバライザーに対して1対1のマッピングを使用したのみで、主にバイナリ分類に焦点を当てていました。今後の研究では、より複雑な関係を探求し、追加の言語に拡張することができるかもしれません。

私たちは、この研究が労働市場アプリケーションのための言語モデルを向上させるためのコスト効果の高い手法をさらに発展させるための基礎を築いたと信じています。最終的には、ビジネスや求職者にとってより良い洞察を提供することにつながるでしょう。