Fähigkeiten aus russischen Stellenanzeigen extrahieren: Eine vergleichende Studie

Der Arbeitsmarkt ändert sich schnell. Es gibt mehr Stellenangebote und höhere Erwartungen daran, was Arbeitssuchende wissen und tun müssen. Eine grosse Herausforderung ist herauszufinden, welche Fähigkeiten Arbeitgeber wirklich wollen. Stellenanzeigen benutzen oft verschiedene Begriffe und lassen manchmal wichtige Fähigkeiten weg, was es den Leuten schwer macht, zu verstehen, was sie brauchen, um erfolgreich zu sein. Diese Situation kann Schwierigkeiten für diejenigen schaffen, die ihre Fähigkeiten verbessern und den Bedürfnissen potenzieller Arbeitgeber gerecht werden wollen.

In diesem Artikel schauen wir uns eine Methode an, um automatisch Fähigkeiten aus russischen Stellenanzeigen zu finden, und vergleichen zwei Methoden: traditionelle Named Entity Recognition (NER) Methoden und Grosse Sprachmodelle (LLMs). Wir werden Beispiele aus über 5.000 Stellenanzeigen verwenden, um zu sehen, welche Methode besser darin ist, Fähigkeiten aus diesen Beschreibungen herauszuziehen.

#Herausforderungen bei Stellenanzeigen

Ein grosses Problem beim Verständnis von Stellenanzeigen ist die Inkonsistenz, wie Fähigkeiten präsentiert werden. Verschiedene Firmen haben unterschiedliche Erwartungen, und manche lassen wichtige Fähigkeiten ganz weg, in der Annahme, dass Job-Suchende sie einfach wissen. Diese unklare Kommunikation kann es Arbeitssuchenden schwer machen, zu lernen, was für ihren nächsten Job nötig ist.

Um dieses Problem anzugehen, müssen wir bessere Tools entwickeln, um automatisch Fähigkeiten aus Stellenanzeigen zu extrahieren. Durch die Analyse von Stellenangeboten können wir Arbeitssuchenden helfen zu verstehen, auf welche Fähigkeiten sie sich konzentrieren sollten. Das kann ihnen helfen, ihre Qualifikationen besser mit dem abzugleichen, was Arbeitgeber suchen.

#Methoden zur Fähigkeiten-Extraktion

Diese Studie bewertet zwei Möglichkeiten, um die Extraktion von Fähigkeiten aus russischen Stellenanzeigen zu automatisieren:

1. Traditionelle Named Entity Recognition (NER) Methoden: Dieser Ansatz nutzt etablierte Algorithmen, um spezifische Fähigkeiten zu identifizieren, die in Stellenbeschreibungen erwähnt werden. NER kann Begriffe direkt aus dem Text klassifizieren und relevante Fähigkeiten basierend auf der Struktur der Sätze identifizieren.

2. Grosse Sprachmodelle (LLMs): LLMs sind eine neuere Technologie, die Text generieren und Muster in der Sprache erkennen kann. Diese Modelle versuchen, den Kontext zu verstehen und eine Liste von Fähigkeiten bereitzustellen, sind dabei aber nicht immer so genau wie traditionelle Methoden bei strukturierten Aufgaben.

Wir verwenden einen Datensatz mit 4.000 Stellenanzeigen zum Trainieren und 1.471 zum Testen der beiden Methoden. Ziel ist es, zu sehen, welcher Ansatz klarere und genauere Informationen über die Fähigkeiten liefert, die Arbeitgeber wollen.

#Überprüfung verwandter Arbeiten

Die Fähigkeiten-Extraktion ist ein beliebtes Studienfeld geworden, da Forscher verschiedene Möglichkeiten erkunden, um die in Stellenanzeigen geforderten Fähigkeiten zu identifizieren. Einige Forscher kategorisieren Fähigkeiten in verschiedene Typen, während andere Stellenanzeigen in anderen Sprachen als Englisch, wie Französisch und Deutsch, untersucht haben.

Neuere Studien legen nahe, dass LLMs mit komplizierten Fähigkeitenbegriffen umgehen können und in bestimmten Szenarien effektiv sind. Wenn es jedoch um die Extraktion spezifischer Fähigkeiten geht, zeigen traditionelle NER-Modelle oft bessere Ergebnisse. Dieser Artikel wird die Leistung von NER-Methoden im Vergleich zu LLMs betrachten, wobei der Fokus auf russischen Stellenanzeigen liegt, einem Bereich, der nicht weitreichend erforscht wurde.

#Forschungsdesign

In dieser Analyse vergleichen wir vier LLMs und vier encoder-basierte NER-Modelle, die dieselbe Stichprobe von Stellenanzeigen verwenden, um einen fairen Vergleich zu gewährleisten. Die Modelle umfassen:

#Grosse Sprachmodelle

1. GPT-4o: Ein hochleistungsfähiges Sprachmodell von OpenAI. Bekannt für seine Fähigkeit, kohärenten Text zu generieren, kann es viele Aufgaben der natürlichen Sprache bewältigen.

2. LLAMA 3 7b: Dieses von Meta entwickelte Modell ist bekannt für das Gleichgewicht zwischen Leistung und Effizienz.

3. GigaChat: Entwickelt von Sber, konzentriert es sich auf die spezifischen Bedürfnisse der russischen Sprache.

4. YandexGPT: Ein Modell von Yandex, das auf Aufgaben der russischen Sprache zugeschnitten ist und effektiv bei Übersetzungen und der Inhaltserstellung arbeitet.

#Encoder-basierte NER-Modelle

1. ruBERT-base-cased von DeepPavlov: Eine russische Version von BERT, die gut für verschiedene russische NLP-Aufgaben funktioniert.

2. xlm-roberta-base von FacebookAI: Ein mehrsprachiges Modell, das verschiedene Sprachen einschliesslich Russisch unterstützt.

3. bert-base-multilingual-cased von Google: Ein weit verbreitetes Modell für NER-Aufgaben, bekannt für seine allgemeinen Fähigkeiten.

4. xlm-roberta-large-en-ru-mnli von DeepPavlov: Ein grosses Modell, das voraussichtlich gut bei zweisprachigen Aufgaben funktioniert.

#Evaluationsmetriken

Um zu sehen, welche Methode am besten funktioniert, schauen wir uns mehrere Leistungsmetriken an:

• Genauigkeit: Der Prozentsatz der korrekten Fähigkeitenidentifikationen.
• F1-Score: Eine Masszahl, die Präzision und Rückruf balanciert.
• Präzision: Die Anzahl der richtig identifizierten Fähigkeiten geteilt durch die Gesamtzahl der identifizierten Fähigkeiten.
• Rückruf: Die Anzahl der richtig positiven Ergebnisse geteilt durch die Gesamtzahl der tatsächlich vorhandenen Fähigkeiten.
• Inference-Zeit: Wie lange jedes Modell braucht, um eine Stellenanzeige zu analysieren.

Bei den LLMs schauen wir auch auf die Kosten, also wie viel es kostet, diese Modelle über ihre APIs auszuführen.

#Vergleich der Ergebnisse

Die Fähigkeiten-Extraktion beinhaltet die Erstellung einer Liste identifizierter Fähigkeiten aus Stellenbeschreibungen. Die Vergleich der Ergebnisse der beiden Ansätze präsentiert eine Herausforderung, da LLMs unterschiedliche Formulierungen oder Synonyme verwenden könnten. NER-Modelle konzentrieren sich darauf, Fähigkeiten basierend auf ihrer Struktur zu identifizieren.

Um unsere Vergleiche zu standardisieren, verwenden wir einen Prozess, der auf Vektorsimilarität basiert. Dabei berechnen wir, wie ähnlich verschiedene Fähigkeitenphrasen einander sind, sodass wir eng verwandte Phrasen als gleichwertig behandeln können.

#Überblick über den Datensatz

Der Datensatz besteht aus 4.000 Stellenanzeigen, die von Experten mit den identifizierten Fähigkeiten markiert wurden, einschliesslich des Jobtitels und der Beschreibung. Für jede Anzeige gibt es strukturierte Datenfelder wie:

• Eine eindeutige ID.
• Den Jobtitel.
• Eine detaillierte Jobbeschreibung.
• Eine Liste identifizierter Fähigkeiten mit ihren Positionen im Text.

Diese Struktur hilft sicherzustellen, dass unsere Analyse konsistent und fair über alle getesteten Modelle hinweg ist.

#Ergebnisse

Die Analyse zeigt, dass traditionelle NER-Modelle, insbesondere das von DeepPavlov angepasste RuBERT NER-Modell, in verschiedenen Metriken höhere Punktzahlen erzielt als LLMs. Zum Beispiel war der F1-Score dieses NER-Modells der höchste, was darauf hindeutet, dass es ein gutes Gleichgewicht zwischen Präzision und Rückruf erreicht.

LLMs wie GPT-4o haben ganz gut abgeschnitten, hinkten jedoch in der Gesamtwirksamkeit, besonders bei der Identifizierung aller relevanten Fähigkeiten, hinterher. Andere Modelle in dieser Kategorie erzielten sogar noch niedrigere Werte.

In Bezug auf Geschwindigkeit und Grösse ist das angepasste RuBERT NER-Modell von DeepPavlov auch effizienter, da es jede Stellenanzeige in einem Bruchteil einer Sekunde verarbeitet, während LLMs deutlich länger brauchten, um Ergebnisse zu liefern.

#Kostenanalyse

Die Kosten für den Betrieb der Modelle zeigen grosse Unterschiede in der finanziellen Effizienz. Bei den LLMs war GPT-4o das teuerste, während GigaChat vernünftigere Kosten bot. Diese Kostenanalyse ist wichtig, wenn man die Verwendung dieser Modelle in der realen Anwendung in Betracht zieht.

#Fazit

Diese Analyse zeigt, dass traditionelle NER-Methoden oft effektiver sind als LLMs zur Extraktion von Fähigkeiten aus russischen Stellenanzeigen. Unsere Ergebnisse deuten darauf hin, dass, während LLMs Potenzial für verschiedene Sprachaufgaben haben, sie möglicherweise nicht so zuverlässig für strukturierte Aufgaben wie die Fähigkeiten-Extraktion sind.

Die Auswahl der richtigen Tools zur Analyse von Stellenanzeigen ist entscheidend, insbesondere in nicht-englischen Kontexten. Diese Forschung kann dazu beitragen, wie Stellenangebote ihre Anforderungen kommunizieren, zu verbessern, damit es für Arbeitssuchende einfacher wird, ihre Fähigkeiten mit dem abzugleichen, was Arbeitgeber brauchen.

Zukünftige Forschungen können auf diesen Erkenntnissen aufbauen, um Ansätze zur Fähigkeiten-Extraktion in verschiedenen Sprachen und Kontexten weiter zu optimieren und die Effizienz und Wirksamkeit dieser Prozesse auf dem Arbeitsmarkt zu verbessern.