Verbesserung der Einblicke in den Arbeitsmarkt mit Sprachmodellen

Dieses Papier ist urheberrechtlich geschützt durch seine Autoren und kann unter der Creative Commons Lizenz Attribution 4.0 International (CC BY 4.0) verwendet werden.

#Einführung in Empfehlungssysteme im Personalwesen

Der technologische Fortschritt hat viele Bereiche unseres Lebens verändert, einschliesslich des Arbeitsmarktes. Mit mehr verfügbaren Daten zielen Forscher und Organisationen darauf ab, den Arbeitsmarkt besser zu verstehen. Allerdings ist viele der verfügbaren Informationen nicht gut organisiert, was die Nutzung erschwert. Daher ist es wichtig, Wege zu finden, diese Daten zu sortieren und nützliche Informationen zu gewinnen.

In diesem Papier wird diskutiert, wie wir die Leistung von Modellen, die Sprache verarbeiten (bekannt als Vortrainierte Sprachmodelle oder PLMs), bei der Anwendung auf Arbeitsmarktaufgaben verbessern können. Wir konzentrieren uns auf spezifische Feinabstimmungstechniken, wie Prompt-Tuning und Instruction-Tuning, die diesen Modellen helfen, bessere Einblicke in jobspezifische Informationen zu geben.

#Die Arbeitsmarktsituation

Der Arbeitsmarkt heute hat eine Fülle an Rohinformationen, die Unternehmen, Schulen und Arbeitssuchenden zugutekommen kann. Das Problem ist jedoch, diese unstrukturierten Daten sinnvoll zu nutzen. Viele der verfügbaren Informationen fehlen grosse, gekennzeichnete Datensätze, die helfen, Modelle effektiv zu trainieren.

Forscher arbeiten daran, strukturierte Formate zu erstellen, um arbeitsbezogene Daten darzustellen. Diese Bemühungen beinhalten die Entwicklung von Taxonomien und Rahmenwerken wie ESCO, ISCO und O*NET. Diese Rahmenwerke helfen dabei, Fähigkeiten und Berufe zu verknüpfen, was die Analyse der Daten erleichtert.

Ein wesentliches Ziel in diesem Bereich ist es, Fähigkeiten und Berufsrollen aus den verfügbaren unstrukturierten Daten zu erkennen und zu klassifizieren. Dadurch können wir Trends und Muster auf dem Arbeitsmarkt besser verstehen, was wiederum zu besseren Empfehlungen für Arbeitssuchende führt.

Die meisten bestehenden Methoden basieren auf überwachten Lernen, das grosse Mengen an gekennzeichneten Daten erfordert. Solche Daten zu finden, kann jedoch herausfordernd sein, insbesondere in mehreren Sprachen. Darüber hinaus ändert sich der Arbeitsmarkt schnell, sodass es viel Zeit und Mühe erfordert, strukturierte Daten aktuell zu halten. Oft sind es Experten aus dem jeweiligen Bereich, die diese Arbeit leisten.

#Vorschlag für verbesserte Sprachmodelle

Dieses Papier stellt einen neuen Ansatz vor, der PLMs nutzt, um grosse Mengen an gekennzeichneten Daten für verschiedene Aufgaben zur Analyse des Arbeitsmarktes zu erstellen. Wir konzentrieren uns auf vier Hauptaufgaben:

1. Beziehungs-Klassifikation: Diese Aufgabe sagt die Art der Beziehung zwischen Fähigkeiten und Berufen voraus.
2. Entitäts-Klassifikation: Diese Aufgabe identifiziert, ob ein Begriff eine Fähigkeit oder einen Beruf darstellt.
3. Entitäts-Verknüpfung: Dabei werden verschiedene Oberflächenformen von arbeitsbezogenen Entitäten strukturiert mit ihren Hauptformen verbunden.
4. Frage-Antworten: Diese Aufgabe beantwortet Fragen zur Beziehung zwischen Beschreibungen und den entsprechenden Fähigkeiten oder Berufen.

Um unsere Ziele zu erreichen, stellen wir mehrere Fragen:

1. Können PLMs gut bei Arbeitsmarktaufgaben abschneiden, ohne spezifisches Training?
2. Verbessert das Feintuning eines PLMs auf gemischten Datensätzen dessen Leistung bei Arbeitsmarktaufgaben?
3. Kann ein abgestimmtes PLM seine erlernten Fähigkeiten auf verschiedene Aufgaben im Arbeitsmarkt übertragen?

Wir werden zeigen, dass die Nutzung domänenspezifischer Feinabstimmungstechniken die Leistung beim Extrahieren von Fähigkeiten und Berufsrollen aus Daten erheblich verbessern kann.

#Hintergrund zu vortrainierten Sprachmodellen

Jüngste Entwicklungen in PLMs wie GPT, BERT und T5 haben ihre Fähigkeit gezeigt, aus grossen Textmengen zu lernen. Obwohl diese Modelle viel Wissen besitzen, benötigen sie dennoch zusätzliches Training für spezifische Aufgaben, um dieses Wissen effektiv anzuwenden.

Einige Forscher haben versucht, den Feintuning-Prozess von Sprachmodellen zu verbessern. Dazu gehören Bemühungen, strukturiertes Wissen aus Taxonomien in aufgabenspezifische Modelle zu integrieren.

Ein Beispiel sind Studien, die Modelle wie KnowBERT entwickelt haben, das Wissensdatenbanken nutzt, um die Darstellung von Entitäten im Text zu verbessern. Andere haben Modelle wie TransE vorgeschlagen, die sich auf das Verständnis hierarchischer Beziehungen innerhalb von Datensätzen konzentrieren.

Verschiedene Methoden untersuchen, wie man anweisungsbasiertes Feintuning besser nutzen kann, um die Modellleistung bei spezifischen Aufgaben zu verbessern. Einige Forscher haben gezeigt, dass Anweisungstuning zu Verbesserungen bei ungesehenen Aufgaben führt.

#Verständnis der ESCO-Taxonomie

ESCO steht für die europäische Taxonomie für Fähigkeiten, Kompetenzen, Qualifikationen und Berufe. Sie bietet eine strukturierte Klassifikation von Fähigkeiten und Berufsrollen. ESCO umfasst Tausende von Einträgen und deckt viele Sprachen ab, was sie zu einer wichtigen Ressource für die Analyse des Arbeitsmarktes macht.

Innerhalb von ESCO gibt es hierarchische Beziehungen, die beschreiben, wie ein Konzept eine allgemeinere Kategorie eines anderen ist. Es gibt auch nicht-hierarchische Beziehungen, die verschiedene Fähigkeiten und Berufe auf Arten verbinden, die keiner strikten Hierarchie folgen.

Wir werden das Wissen innerhalb der ESCO-Taxonomie nutzen, um unseren Ansatz zum Tuning von Sprachmodellen zu verbessern. Durch die Verwendung von ESCO können wir Vorlagen erstellen, die den Modellen helfen, Berufsrollen und Fähigkeiten effizient zu erkennen und zu klassifizieren.

#Umsetzung von Prompt-Tuning mit Regeln

Unser Ansatz kombiniert Prompt-Tuning mit Regeln (PTR), um PLMs zu steuern. Diese Technik funktioniert, indem sie Aufforderungen erstellt, die fehlende Wörter in Sätzen ausfüllen. Das Modell nutzt diese Aufforderungen, um Sätze basierend auf dem gegebenen Kontext zu klassifizieren.

In unserem Verfahren erstellen wir Verbalizer, die Kategorien von Fähigkeiten und Berufen mit spezifischen Wörtern verbinden, von denen wir erwarten, dass das Modell sie verwendet. Indem wir diese Wörter vorhersagen, führt das PLM die Klassifikationsaufgabe effektiv aus.

Wir veranschaulichen den Prozess mit einem Beispiel. Für eine Fähigkeit wie "sichere korrekte Metalltemperatur" könnten wir eine Aufforderung wie "[CLS] das [MASK] sichere korrekte Metalltemperatur" erstellen. Der [MASK]-Teil zeigt an, wo das Modell seine Vorhersage einfüllen sollte.

Wir werden testen, wie diese Prompt-Tuning-Technik die Leistung des Modells bei der Erkennung von Fähigkeiten und Berufen beeinflusst.

#Anweisungsbasiertes Feintuning

Anweisungsbasiertes Feintuning bringt dem PLM bei, auf natürliche Sprachbefehle zu reagieren. Dieser Ansatz kann die Fähigkeit des Modells verbessern, spezifische Aufgaben effektiv auszuführen.

In unseren Experimenten erstellen wir manuell Vorlagen mit klaren Aufgaben für das Modell. Diese Methode hilft dem Modell zu verstehen, was von ihm erwartet wird, wenn es mit einer Frage oder Aufforderung konfrontiert wird.

Damit wollen wir zeigen, dass anweisungsbasiertes Feintuning zu erheblichen Verbesserungen bei der Leistung bei arbeitsbezogenen Aufgaben führen kann.

#Experimentelles Setup

Wir möchten unseren Ansatz in verschiedenen Umgebungen testen. Unsere Hauptziele sind es zu sehen, wie gut PLMs ohne vorheriges Training abschneiden und wie Tuning ihre Fähigkeit beeinflusst, Arbeitsmarktaufgaben zu bewältigen.

Wir konzentrieren uns auf vier Aufgaben:

1. Entitätsklassifikation (EC)
2. Beziehungsklassifikation (RC)
3. Entitätsverknüpfung (EL)
4. Frage beantworten (QA)

Wir werden Datensätze für diese Aufgaben mithilfe von Vorlagen basierend auf der ESCO-Taxonomie generieren. Jeder Datensatz entspricht einer anderen Aufgabe und bietet eine strukturierte Möglichkeit für das Modell zu lernen.

#Datensatzkonstruktion

Der Datensatz für die Entitätsklassifikation und die Beziehungsklassifikation wird aus den Beziehungstypen der ESCO-Taxonomie erstellt. Zum Beispiel können wir die Beziehungen "isEssentialFor" oder "isOptionalFor" verwenden, um Trainingsbeispiele zu erstellen. Jede Instanz wird Paare von Fähigkeiten und Berufen enthalten, die durch diese Beziehungen verbunden sind.

Für die Entitätsverknüpfungsaufgabe stützen wir uns auf die "alternativeLabel"-Beziehung, um verschiedene Formen von arbeitsbezogenen Begriffen mit ihren Hauptbezeichnungen zu verknüpfen. Dieses Setup ermöglicht es dem Modell zu lernen, wie man Oberflächenwörter mit den richtigen zugrunde liegenden Begriffen abgleicht.

Der Datensatz für die Frage-Antworten wird aus Beschreibungen verschiedener Entitäten in ESCO bestehen. Wir werden Anweisungen erstellen, die das Modell anleiten, zu bestimmen, ob eine Beschreibung zu einer bestimmten Fähigkeit oder einem Beruf passt.

#Experimentierphasen

Wir werden mehrere Phasen von Experimenten durchführen:

#Phase 1: Zero-Shot-Lernen

In dieser Phase testen wir, wie gut die PLMs ohne spezifisches Training abschneiden. Indem wir die Modelle direkt auf unsere generierten Prompt-Datensätze anwenden, können wir deren Fähigkeit bewerten, die anstehenden Aufgaben zu bewältigen.

#Phase 2: K-Shot-Lernen

Als Nächstes werden wir untersuchen, wie sich die Bereitstellung einiger gekennzeichneter Beispiele auf die Leistung der Modelle auswirken kann. Durch das Variieren der Anzahl der im Training verwendeten Beispiele möchten wir die optimale Menge für effektives Lernen identifizieren.

#Phase 3: Multitask-Lernen

Schliesslich werden wir die Vorteile des gleichzeitigen Trainings der Modelle für mehrere Aufgaben untersuchen. Damit hoffen wir zu sehen, ob Wissen von einer Aufgabe die Leistung bei einer anderen verbessern kann.

#Evaluierungsmetriken

Um den Erfolg unserer Experimente zu messen, verwenden wir F1-Scores als unsere primäre Evaluierungsmetrik. Indem wir die Ergebnisse über mehrere Durchläufe hinweg mitteln, können wir eine verlässlichere Leistungsbewertung erhalten.

In unseren Tests werden wir sorgfältig darauf achten, dass die Trainings- und Testsets sich nicht überschneiden, um eine genaue Bewertung der Modelle zu gewährleisten.

#Ergebnisse der Experimente

#Ergebnisse des Zero-Shot-Lernens

Die ersten Ergebnisse zeigen, dass das anweisungsgestimmte Modell in Aufgaben wie Frageantworten und Entitätsverknüpfung deutlich besser abschneidet als das Standardmodell. Allerdings schneidet es in der kombinierten Entitäts- und Beziehungsklassifikationsaufgabe nicht so gut ab, wo das nicht-anweisungsgestimmte Modell im Vorteil ist.

#Ergebnisse des K-Shot-Lernens

In der K-Shot-Lernphase beobachten wir, dass das anweisungsgestimmte Modell insgesamt weiterhin besser abschneidet, insbesondere mit der richtigen Anzahl von Beispielen. Verschiedene Aufgaben können unterschiedliche Anzahl von Beispielen für optimale Ergebnisse benötigen.

#Ergebnisse des Multitask-Lernens

Schliesslich stellen wir in dem Experiment zum Multitask-Lernen fest, dass einige Aufgaben von zusätzlichen Aufforderungen profitieren. Allerdings kommt die beste Leistung oft, wenn sich das Modell auf die jeweilige Aufgabe konzentriert.

#Fazit und zukünftige Richtungen

Unsere Arbeit zeigt, dass effizientes Tuning von PLMs zu erheblichen Verbesserungen bei Aufgaben im Zusammenhang mit dem Arbeitsmarkt führen kann. Anweisungsbasiertes Tuning und promptbasierte Methoden können die Fähigkeit der Sprachmodelle verbessern, arbeitsbezogene Daten zu analysieren, ohne dass umfangreiche manuelle Vorbereitungen erforderlich sind.

Obwohl wir vielversprechende Ergebnisse erzielt haben, gibt es noch einige Einschränkungen. Zum Beispiel haben wir nur Eins-zu-Eins-Zuordnungen für Verbalizer verwendet, und unser Fokus lag hauptsächlich auf binären Klassifikationen. Zukünftige Forschungen könnten komplexere Beziehungen untersuchen und auf zusätzliche Sprachen ausgeweitet werden.

Wir sind überzeugt, dass diese Forschung die Grundlage für die weitere Entwicklung kosteneffizienter Methoden zur Verbesserung von Sprachmodellen für Arbeitsmarktanwendungen legt, was letztendlich bessere Einblicke für Unternehmen und Arbeitssuchende liefert.