Mejorando la búsqueda de expertos en política con LDA

En muchas organizaciones políticas, como los parlamentos, la gente a menudo necesita encontrar políticos que sepan sobre Temas específicos. Para hacer esto, primero necesitamos crear perfiles de estos políticos, que incluyan sus áreas de interés. Esta información se puede recopilar automáticamente a partir de sus discursos. Dado que un político puede ser experto en varios campos, podemos crear subperfiles para cada área de especialización.

Este estudio presenta una nueva forma de crear estos perfiles usando un método llamado Asignación de Dirichlet Latente (LDA). LDA ayuda a identificar los principales temas discutidos en discursos políticos y organiza términos relacionados en diferentes subperfiles basados en temas. Para lograr esto, utilizamos quince medidas de distancia y similitud para averiguar el mejor número de temas discutidos en un discurso. Resulta que estas medidas generalmente se condensan en cinco estrategias: Euclidiana, Dice, Sorensen, Coseno y Superposición. Nuestros tests mostraron que las puntuaciones de precisión de las estrategias propuestas generalmente eran mejores que las de los métodos estándar utilizados para recomendaciones de expertos, y usar un número apropiado de temas era crucial.

#La Importancia de Encontrar Expertos

El contexto más amplio de este trabajo son los sistemas de recomendación basados en contenido que sugieren artículos a los usuarios según sus descripciones textuales y preferencias individuales. Cuando se trata de recomendar personas, estamos buscando específicamente a los mejores individuos para manejar ciertas tareas o problemas. En nuestro caso, estos individuos son políticos que son expertos en ciertas áreas.

Por ejemplo, un miembro del parlamento (MP) que se sienta en el Comité de Agricultura debería tener un entendimiento profundo de varios problemas agrícolas, como leyes relevantes, problemas, iniciativas, subsidios y tipos de cultivos en diferentes ubicaciones. Lo mismo se aplica a los MPs que sirven en otros comités que se enfocan en salud, cultura, economía, educación, y más.

Cuando alguien enfrenta un problema específico, como el calor excesivo en las aulas al final del año escolar, o busca información sobre el aumento de los niveles de ruido durante la noche en áreas residenciales, el primer paso es identificar a la persona adecuada a la que contactar. Un enfoque podría ser usar motores de búsqueda generales para encontrar listas de políticos, pero esto puede ser un proceso que consume tiempo y es ineficiente ya que la información está dispersa y es poco confiable. Alternativamente, un sistema especializado de Búsqueda de Expertos puede almacenar información textual sobre políticos, permitiendo a los usuarios enviar consultas y recibir una lista de MPs relevantes. Este sistema puede ayudar a los usuarios a llegar fácilmente al político adecuado que puede asistirles con sus problemas.

La información textual sobre cada experto incluye sus intereses y áreas de especialización, que se pueden obtener de diversas fuentes, como informes, Documentos y transcripciones de sus discursos en debates parlamentarios. Al analizar esta información, podemos aprender sobre los expertos según lo que dicen.

Para recomendar a los expertos adecuados, debemos representar sus áreas de especialización de manera clara. La forma más común de hacer esto es usando términos que describan sus intereses y especialidades. Cuando un candidato tiene intereses diversos, por ejemplo, en salud, educación y medio ambiente, puede no tener sentido combinarlos todos en un solo perfil. Esto podría llevar a la subrepresentación de ciertos temas. Al separarlos en subperfiles más enfocados, podemos proporcionar representaciones más claras y útiles de su especialización.

#Desglosando Perfiles para Mejores Recomendaciones

El objetivo de este documento es encontrar un método para desglosar un único perfil diverso-creado a partir de todos los términos recopilados de los discursos de un político-en múltiples subperfiles enfocados. Al determinar con precisión los intereses de un candidato, podemos ofrecer mejores recomendaciones.

Para lograr esto, vamos a emplear LDA para identificar temas dentro de los documentos asociados con políticos. Un estudio previo abordó el mismo problema utilizando técnicas de agrupamiento en lugar de modelos temáticos.

En este estudio, planeamos usar LDA de manera diferente a como se combina convencionalmente con la búsqueda de expertos. La mayoría de los enfoques representan documentos y perfiles usando vectores de términos (bolsa de palabras). Nuestro enfoque utilizará un modelo temático como LDA para cambiar la representación de términos a temas. No solo separaremos los documentos en subdocumentos vinculados a diferentes temas, sino que también los mantendremos en el espacio de términos en lugar de convertirlos al espacio de temas. Los subdocumentos que pertenecen al mismo tema se combinarán luego para formar los subperfiles. Dado que esto podría llevar a un número abrumador de subperfiles para algunos candidatos, especialmente aquellos con términos limitados, también hemos creado un método para simplificar este proceso seleccionando solo los temas más relevantes.

El enfoque de nuestro estudio se centra en la efectividad de LDA para crear subperfiles de expertos en un contexto político. Las principales contribuciones incluyen:

1. Investigar cómo LDA puede generar múltiples subperfiles de términos enfocados para la búsqueda de expertos dentro de un entorno político.
2. Proponer una estrategia para dividir documentos en subdocumentos temáticos distribuyendo términos según las matrices generadas por LDA.
3. Desarrollar un enfoque sistemático para asignar una selección óptima de temas a cada documento basado en medidas de distancia y similitud.
4. Realizar tests extensivos comparando nuestras propuestas con varios modelos de referencia.

#Trabajo Relacionado

Los métodos de búsqueda de expertos buscan conectar individuos con áreas específicas de especialización, y ha habido un creciente interés en estos sistemas, con muchas aplicaciones, incluyendo:

• Asignar revisores a artículos enviados para conferencias o revistas.
• Identificar colaboradores adecuados para proyectos.
• Encontrar expertos en entornos académicos, redes sociales, organizaciones, o la web en general.

En dominios políticos, aquellos que han abordado anteriormente la búsqueda de expertos incluyen a los autores de este estudio.

Dos enfoques fundamentales en la búsqueda de expertos son:

1. Métodos basados en perfiles, que construyen un perfil para cada experto combinando documentos relevantes.
2. Métodos basados en documentos, que preservan documentos relacionados con un experto como entidades individuales y recuperan documentos relevantes basados en consultas de usuarios.

En nuestro caso, emplearemos un enfoque basado en documentos, ya que los documentos se relacionan con los discursos individuales de los MPs. Si bien los métodos basados en documentos generalmente tienen un mejor desempeño, algunos estudios han mostrado resultados mixtos.

En nuestro trabajo, nos enfocaremos en modelos temáticos, especialmente LDA, ya que muchos métodos existentes usan análisis semántico latente probabilístico (pLSA) en sistemas de respuesta a preguntas comunitarias (CQA). El modelo pLSA puede representar a los usuarios basándose en distribuciones de temas agregadas de sus preguntas o como documentos que reflejan las preguntas relacionadas con un usuario.

En modelos basados en documentos, las probabilidades de los términos de consulta comúnmente se estiman usando máxima verosimilitud y suavizado de Dirichlet. Sin embargo, algunos métodos han integrado temas aprendidos por LDA de colecciones de documentos en representaciones de usuarios, mejorando el proceso de búsqueda de expertos.

Existen otros modelos temáticos, como el modelo Autor-Persona-Tema (APT), que puede recomendar revisores para artículos enviados representando a cada autor con una distribución sobre temas ocultos que reflejan varios roles.

El objetivo de nuestro estudio es explorar un enfoque especializado que se centra en crear subperfiles homogéneos a partir de los discursos de los MPs.

#El Proceso de Búsqueda de Expertos Usando Análisis de Discurso

Consideremos una situación donde tenemos un grupo de posibles candidatos expertos y una colección de documentos asociados con ellos. En nuestro caso, los candidatos serán MPs, y cada documento está vinculado a sus discursos en debates parlamentarios.

Nuestro objetivo es desglosar el perfil diverso que contiene términos de todos los documentos relacionados con un MP en subperfiles temáticos más enfocados. Para hacer esto, primero aplicaremos LDA para identificar los diversos temas dentro de la colección de documentos.

Cuando se utiliza LDA en una colección de documentos, genera dos matrices, donde:

• Cada entrada indica la probabilidad de un término asociado a un tema.
• Cada entrada refleja la probabilidad de que un tema esté vinculado a un documento.

Una vez que LDA identifica los temas, el siguiente paso es separar cada documento en múltiples subdocumentos basados en los diferentes temas discutidos.

En este ejemplo, si un documento aborda dos temas, digamos "Salud" y "Educación", los términos relevantes para la salud deberían ir principalmente a un subdocumento, mientras que los términos relacionados con la educación deberían ir en otro. Sin embargo, algunos términos pueden relacionarse con múltiples temas, lo que complica el proceso de asignación.

Nuestro método propuesto distribuye las ocurrencias de cada término entre los subdocumentos basándose en las probabilidades derivadas de LDA. Calculamos estas probabilidades usando la relación entre términos, documentos y temas.

Después de aplicar el proceso de separación, fusionaremos los subdocumentos vinculados a los mismos temas para crear los subperfiles de los candidatos. Aunque podríamos generar un número alto de subperfiles a través de este método, podemos aplicar una estrategia para reducir el número de subperfiles seleccionando solo los temas relevantes vinculados a cada documento.

#Seleccionando el Número Óptimo de Subdocumentos

Seleccionar el número de temas puede influir significativamente en el resultado de nuestros hallazgos. Por lo tanto, es importante abordar esto de manera sistemática. Para hacer esto, establecemos una distribución de probabilidad sobre los temas y determinamos el mejor índice para seleccionar los temas más relevantes.

Podemos utilizar diversas medidas de distancia y similitud para ayudar en esta tarea. El objetivo principal es encontrar un conjunto adecuado de temas que nos brinde el mejor rendimiento.

Al analizar diferentes medidas de distancia y similitud, encontramos varias métricas interesantes, incluyendo:

• La medida de similitud de Coseno.
• El coeficiente de Dice.
• El índice de similitud de Jaccard.
• La distancia Euclidiana.
• El coeficiente de Superposición.

En nuestra exploración de medidas de distancia y similitud, determinamos que, si bien tenemos numerosas maneras de calcular estas métricas, generalmente llegamos a solo cinco estrategias de selección diferentes.

Al aplicar estas estrategias a nuestra tarea de búsqueda de expertos, podemos derivar un número más preciso de subperfiles para representar a los candidatos de manera efectiva.

#Realizando Experimentos

El objetivo principal de este estudio es determinar si usar LDA para construir subperfiles de términos ayuda a mejorar la búsqueda de expertos en un contexto político. Para validar esto, nos basamos en datos derivados de los Registros de Actas Parlamentarias. Esta colección contiene discursos de diversas iniciativas discutidas en el Parlamento Andaluz, incluyendo contribuciones de numerosos MPs diferentes.

Dividimos los documentos en conjuntos de entrenamiento y pruebas. El conjunto de entrenamiento se utiliza para ejecutar LDA y crear subperfiles, mientras que el conjunto de pruebas se utiliza para evaluar el sistema. Repetimos este proceso de muestreo varias veces para asegurar predicciones precisas.

Para medir la efectividad de nuestro sistema, calculamos tres métricas estándar de recuperación de información: precisión, ganancia acumulativa descontada normalizada (NDCG) enfocada en los diez mejores MPs, y recuperación basada en el número total de MPs relevantes.

#Analizando Estrategias de Distribución

Una vez que analizamos cómo se distribuyen los términos de intervención entre los diferentes temas, podemos evaluar cómo esto afecta los subperfiles creados para cada MP. La manera en que distribuimos términos puede influir en gran medida en el ranking de salida de los MPs, lo cual es esencial para recomendaciones efectivas.

Al examinar el tamaño de los subperfiles generados usando varias estrategias de distribución, podemos observar tendencias. Específicamente, a medida que aumentamos el número de temas considerados, el número de subperfiles generados tiende a aumentar. Sin embargo, los términos promedio contenidos en cada subperfil tienden a disminuir.

Esta observación se alinea con las expectativas: cuando categorizamos los discursos de los MPs en temas más específicos, podemos reconocer patrones de especialización. Esto ayuda a crear una comprensión más clara de la especialización de cada MP.

Al analizar la presencia de subperfiles pequeños-esos que contienen menos de cincuenta términos-identificamos posibles problemas con la representatividad. Un número alto de estos subperfiles pequeños puede crear desafíos al determinar los políticos más relevantes.

#Evaluación del Rendimiento

Después de evaluar la efectividad de diferentes estrategias de distribución, discutimos el rendimiento de varios modelos, incluyendo modelos de referencia basados en términos y temas, así como modelos de aprendizaje profundo. Nuestros hallazgos sugieren que el dominio de términos tiende a producir mejores resultados en comparación con el dominio de temas.

Al realizar pruebas sobre nuestros enfoques propuestos, encontramos que las estrategias de distribución generalmente superaron a los modelos de referencia. Sin embargo, el número de temas elegidos juega un papel importante en determinar la efectividad general.

A través de varias pruebas, fue evidente que, aunque cada estrategia de distribución tiene fortalezas únicas, la estrategia de Sorensen destacó particularmente por crear perfiles más homogéneos.

#Conclusiones y Direcciones Futuras

Esta investigación ilustra cómo aplicar LDA para extraer términos de discursos impacta positivamente en las recomendaciones de expertos en un contexto político. Mostramos que un enfoque bien estructurado usando LDA produce perfiles valiosos basados en temas. Las diferentes estrategias de distribución funcionan de manera efectiva para crear distribuciones coherentes de términos a través de temas.

En el futuro, planeamos explorar cómo los aspectos temporales pueden influir en la construcción de estos subperfiles. Además, podríamos investigar la distribución de términos de documentos a nivel de párrafo en lugar de solo a nivel de término para capturar mejor los temas esenciales dentro de un discurso. Por último, estamos interesados en aplicar estas metodologías en varios dominios más allá de la política para una validación adicional.