Presentamos Job-SDF: Un nuevo conjunto de datos para pronosticar la demanda de habilidades

En el mercado laboral actual, saber qué Habilidades se necesitan es muy importante para las Empresas, los que buscan trabajo y los responsables de políticas. Poder predecir estas necesidades de habilidades ayuda a todos a prepararse para los cambios en la fuerza laboral. Esto permite mejorar los programas de capacitación y asegura que la gente tenga las habilidades adecuadas para tener éxito en sus trabajos. A medida que los empleos evolucionan, es necesario tener datos que reflejen estos cambios con precisión. Lamentablemente, no ha habido un conjunto de datos completo que rastree la Demanda de habilidades laborales a lo largo del tiempo, lo que dificulta estudiar y mejorar esta área. Para abordar este problema, hemos creado un nuevo conjunto de datos llamado Job-SDF.

#¿Qué es Job-SDF?

Job-SDF significa Pronóstico de Demanda de Habilidades Laborales. Es un conjunto de datos creado a partir de más de 10 millones de anuncios de trabajo recopilados de las principales plataformas de reclutamiento en línea en China durante un período de 2021 a 2023. Este conjunto de datos contiene información sobre la demanda de varias habilidades en muchas empresas y Ocupaciones. Se enfoca en 2,324 habilidades diferentes, que se clasifican en 52 ocupaciones de 521 empresas diferentes. Los datos están organizados mensualmente para dar una visión clara de cómo cambia la demanda de habilidades con el tiempo.

#Importancia del Pronóstico de Demanda de Habilidades

Poder predecir qué habilidades estarán en demanda ayuda a las empresas y organizaciones a prepararse para el futuro. Por ejemplo, si una empresa tecnológica ve que las habilidades en inteligencia artificial están ganando popularidad, puede comenzar a capacitar a sus empleados en consecuencia. Esta información también es útil para las instituciones educativas. Pueden adaptar sus programas para asegurarse de que los estudiantes estén aprendiendo las habilidades que necesitarán en el mercado laboral. A su vez, esto contribuye al crecimiento económico, ya que las empresas pueden encontrar el talento que necesitan y los individuos pueden conseguir mejores empleos.

#Desafíos en el Análisis de la Demanda de Habilidades

Antes de la creación del conjunto de datos Job-SDF, el análisis de la demanda de habilidades a menudo dependía de encuestas y otros métodos que requerían mucho tiempo y solo proporcionaban una instantánea de una empresa o tipo de trabajo específico. Con el auge de las publicaciones de trabajos en línea, ahora hay una gran cantidad de datos de anuncios de trabajo disponibles. Sin embargo, muchos estudios anteriores no han compartido sus conjuntos de datos públicamente, lo que dificulta a los investigadores replicar sus hallazgos o construir sobre su trabajo.

Además, los estudios existentes a menudo se han concentrado en una ocupación particular, perdiendo de vista las tendencias en diferentes industrias o áreas geográficas. Esta visión limitada obstaculiza la creación de estrategias efectivas para el desarrollo de la fuerza laboral y la capacitación en habilidades.

#Entendiendo las Habilidades Laborales

Las habilidades laborales generalmente se dividen en dos categorías: habilidades duras y habilidades blandas. Las habilidades duras incluyen capacidades técnicas, como programación o pensamiento analítico. Las habilidades blandas, por otro lado, abarcan rasgos más suaves como comunicación, trabajo en equipo y adaptabilidad. Ambos tipos de habilidades son cruciales para el éxito en el lugar de trabajo.

El desafío en pronosticar la demanda de habilidades radica en rastrear con precisión cómo cambian estas habilidades con el tiempo. Por ejemplo, una habilidad que es importante hoy puede no ser tan relevante en el futuro. De manera similar, algunas habilidades nuevas podrían surgir que requieran atención inmediata.

#Empleos en la Era Digital

En los últimos años, el panorama laboral ha evolucionado drásticamente debido a los avances en tecnología y en internet. Los anuncios de trabajo se han trasladado a plataformas en línea, donde las empresas ahora publican sus ofertas de empleo. Esto ha creado una vasta cantidad de datos que se pueden analizar para entender las tendencias de demanda de habilidades. Al utilizar eficazmente los datos disponibles, los investigadores y las empresas pueden pronosticar qué habilidades serán necesarias en el futuro.

El conjunto de datos Job-SDF proporciona valiosos insights sobre estas tendencias al analizar anuncios de trabajo públicos durante un período específico. Permite una visión más completa de cómo varían las demandas de habilidades no solo por trabajo, sino también por empresa y región.

#Metodología de Creación del Conjunto de Datos

Para crear el conjunto de datos Job-SDF, primero recopilamos anuncios de trabajo de las principales plataformas de reclutamiento en línea en China. Nos enfocamos en 52 ocupaciones diferentes y recopilamos anuncios de 521 empresas distintas. Después de eliminar entradas duplicadas, obtuvimos alrededor de 10.35 millones de anuncios de trabajo únicos.

Luego, examinamos las descripciones de trabajo para extraer las habilidades requeridas. Usando un método llamado Reconocimiento de Entidades Nombradas (NER), identificamos los términos de habilidades mencionados en los requisitos laborales. Esto nos permitió compilar un diccionario de habilidades que incluye más de 2,300 habilidades distintas utilizadas en los anuncios de trabajo.

El conjunto de datos fue organizado para mostrar la demanda de habilidades mensualmente para varios trabajos, empresas y regiones. Este enfoque estructurado facilita el análisis y la comparación de la demanda de habilidades a lo largo del tiempo.

#Estimación de la Demanda de Habilidades

Estimar la demanda de habilidades implica rastrear con qué frecuencia aparecen habilidades específicas en los anuncios de trabajo a lo largo del tiempo. Esto se puede hacer contando cuántos anuncios requieren una cierta habilidad durante un período dado. El conjunto de datos Job-SDF nos permite no solo observar la demanda de habilidades por tipo de trabajo, sino también analizarla más a fondo por diferentes empresas y áreas geográficas.

Esta capacidad es esencial para entender qué habilidades están ganando o perdiendo importancia. Al desglosar los datos de esta manera, se hace posible identificar tendencias que pueden informar programas de capacitación y educación, asegurando así que la fuerza laboral esté bien preparada para las necesidades futuras.

#Tareas de Pronóstico de Demanda de Habilidades

El conjunto de datos Job-SDF proporciona una plataforma para diversas tareas de pronóstico. Podemos estudiar cómo cambia la demanda de ciertas habilidades a lo largo del tiempo examinando datos históricos y construyendo modelos predictivos.

Al establecer parámetros basados en los datos de meses anteriores, podemos crear modelos de pronóstico que predigan la demanda de habilidades en los próximos meses. Esta capacidad predictiva es crucial para las organizaciones y educadores que buscan alinear sus esfuerzos de capacitación con las necesidades del mercado.

#Análisis de la Variabilidad en la Demanda de Habilidades

El conjunto de datos revela que la demanda de habilidades tiende a seguir una distribución de cola larga. Esto significa que mientras algunas habilidades están en alta demanda, muchas otras solo son necesarias para un número limitado de publicaciones de empleo. Por ejemplo, habilidades altamente especializadas pueden ser relevantes solo para unas pocas posiciones.

Al evaluar los modelos de pronóstico, es importante considerar esta variabilidad. Las métricas tradicionales pueden no reflejar con precisión qué tan bien los modelos predicen la demanda de habilidades menos comunes. Por lo tanto, es necesario utilizar una variedad diversa de métricas de evaluación que tengan en cuenta esta naturaleza de cola larga de la demanda de habilidades.

#Impacto de Cambios Estructurales

A medida que cambia el mercado laboral, ciertas habilidades pueden volverse más o menos relevantes, llevando a cambios en los patrones de demanda. Este fenómeno se conoce como rupturas estructurales. Estas rupturas pueden afectar qué tan bien funcionan los modelos de pronóstico. Por ejemplo, una habilidad que de repente ve un aumento en la demanda puede no ser predicha con precisión por modelos que no tienen en cuenta estos cambios.

Usando la prueba de Chow, podemos identificar dónde ocurren estas rupturas estructurales y analizar cómo impactan en la precisión del pronóstico. Este análisis es crucial para refinar nuestros métodos de pronóstico y mejorar la fiabilidad de las predicciones.

#Interdependencias Entre Habilidades

Al predecir la demanda de habilidades, es beneficioso considerar las relaciones entre diferentes habilidades. Por ejemplo, si dos habilidades a menudo se requieren juntas en las publicaciones de empleo, esta interdependencia puede ayudar a mejorar la precisión del pronóstico. El conjunto de datos Job-SDF nos permite investigar estas relaciones e incorporarlas en nuestros modelos de pronóstico.

Al examinar cómo interactúan las habilidades, podemos crear una visión más holística de los requisitos laborales. Esta comprensión es crítica ya que las empresas a menudo buscan candidatos que posean una combinación de múltiples habilidades en lugar de solo una.

#Evaluación de Modelos Usando Job-SDF

Para evaluar el rendimiento de diferentes modelos de pronóstico, experimentamos con varios enfoques utilizando el conjunto de datos Job-SDF. Analizamos modelos estadísticos como ARIMA, modelos basados en RNN, modelos basados en Transformadores y otros.

Cada modelo se evaluó en función de su capacidad para predecir con precisión las futuras demandas de habilidades. Utilizamos diferentes métricas como el Error Absoluto Medio (MAE) y el Error Cuadrático Medio (RMSE) para medir el rendimiento. Al comparar los resultados, podemos identificar qué modelos son más efectivos para tipos específicos de tareas de pronóstico de demanda de habilidades.

#Resultados de los Modelos de Pronóstico

Los resultados de rendimiento mostraron que algunos modelos sobresalieron en predecir la demanda general de habilidades, mientras que otros eran más adecuados para granularidades específicas, como demandas ocupacionales o regionales. Por ejemplo, algunos métodos estadísticos tradicionales lucharon con las relaciones complejas en los datos, mientras que modelos más avanzados como los Transformadores demostraron mejores resultados al capturar tendencias a largo plazo.

En general, nuestros hallazgos destacan las fortalezas y debilidades de varios modelos, allanando el camino para futuras investigaciones y mejoras en el área de pronóstico de demanda de habilidades.

#Desafíos en Predecir Habilidades de Baja Demanda

Mientras que entender los patrones de demanda de habilidades de alta demanda es relativamente sencillo, predecir tendencias para habilidades de baja demanda plantea un mayor desafío. Muchas habilidades de baja demanda pueden no aparecer con suficiente frecuencia en las publicaciones de trabajo para proporcionar datos confiables para predicciones precisas.

Para abordar este problema, exploramos varios modelos diferentes diseñados específicamente para manejar estas habilidades de baja frecuencia. Los resultados mostraron una variabilidad significativa en el rendimiento, indicando que, mientras algunos modelos pueden gestionar el pronóstico de habilidades de baja demanda, otros son menos efectivos.

#Incorporando Relaciones de Co-ocurrencia

Para mejorar nuestros modelos de pronóstico, desarrollamos un gráfico de co-ocurrencia de habilidades basado en datos de entrenamiento. Este gráfico captura con qué frecuencia se mencionan habilidades juntas en anuncios de trabajo. Al incorporar esta información en nuestros modelos, podemos mejorar la precisión de las predicciones.

El gráfico de co-ocurrencia nos permite entender cómo las habilidades interactúan y dependen unas de otras. Esta comprensión respalda modelos de pronóstico más efectivos que tienen en cuenta las relaciones entre habilidades, en lugar de tratarlas como variables aisladas.

#Direcciones Futuras para la Investigación sobre Demanda de Habilidades

La investigación en pronóstico de demanda de habilidades aún está evolucionando. El conjunto de datos Job-SDF abre muchas avenidas para un estudio más profundo. Las investigaciones futuras pueden centrarse en refinar modelos de pronóstico, mejorar los métodos de recolección de datos y explorar diferentes granularidades de demanda de habilidades.

Al actualizar y expandir continuamente conjuntos de datos como Job-SDF, los investigadores pueden mantenerse alineados con el mercado laboral en rápido cambio. Entender estas dinámicas es crucial para equipar tanto a los trabajadores actuales como a los futuros con las habilidades que necesitan para prosperar.

#Conclusión

El conjunto de datos Job-SDF representa un avance significativo en el campo del pronóstico de demanda de habilidades. Al proporcionar una visión completa de las demandas de habilidades laborales a lo largo del tiempo, permite a empresas, educadores y responsables de políticas tomar decisiones informadas.

A medida que el mercado laboral continúa evolucionando, la necesidad de predicciones precisas sobre las demandas de habilidades solo crecerá. Los insights obtenidos al analizar el conjunto de datos Job-SDF pueden desempeñar un papel clave en la preparación de la fuerza laboral para los desafíos y oportunidades futuras.