Presentamos GLIMPSE: Un método innovador de recomendación de noticias

La recomendación de noticias es una tarea complicada que se centra en hacer sugerencias basadas en lo que cada usuario ha interactuado en el pasado. Se crean muchos artículos nuevos todos los días, lo que hace vital personalizar las Recomendaciones para cada usuario. Los avances recientes han utilizado potentes modelos de lenguaje para clasificar artículos de noticias directamente. Estos métodos se pueden agrupar en tres tipos principales: aprendizaje a nivel de punto, Por pares y por listas.

Los métodos a nivel de punto clasifican artículos de forma individual, lo que los hace directos y rápidos. Sin embargo, no consideran cómo se comparan los artículos entre sí, lo cual es esencial para una Clasificación efectiva. Los enfoques por pares y por listas son mejores en estas comparaciones, pero vienen con sus propios problemas. Los métodos por pares pueden ser computacionalmente pesados, mientras que los métodos por listas a menudo no funcionan bien en escenarios prácticos.

En este documento, presentamos un nuevo método para la recomendación de noticias que utiliza modelos de lenguaje de manera efectiva. Nuestro método combina tanto evaluaciones a nivel de punto como comparaciones por pares de una manera que es eficiente y escalable. También proporcionamos un análisis teórico detallado de nuestro método para mostrar las condiciones bajo las cuales puede ofrecer mejores resultados. Pruebas exhaustivas demuestran que nuestro método supera las clasificaciones actuales más avanzadas en dos conjuntos de datos significativos de recomendación de noticias.

Las plataformas de noticias en línea son críticas para muchas personas que dependen de ellas para mantenerse actualizadas. Con la enorme cantidad de artículos publicados diariamente, personalizar las recomendaciones de noticias se vuelve aún más importante. La rica naturaleza textual de los artículos de noticias los hace ideales para usar modelos de lenguaje avanzados. Aunque los grandes modelos de lenguaje han mostrado capacidades notables, las necesidades prácticas a menudo requieren modelos más pequeños y eficientes para aplicaciones del mundo real.

Una forma de abordar las recomendaciones de noticias utilizando estos modelos de lenguaje es a través de la clasificación a nivel de punto. Esta técnica predice una puntuación de relevancia para cada artículo de noticias basándose en las interacciones pasadas del usuario. Este método es escalable, pero califica los artículos de forma independiente sin evaluar cuán útil es un artículo en comparación con otro. Esta comparación es crucial en las tareas de recomendación. La evidencia empírica muestra que los métodos por pares o por listas tienden a producir mejores resultados que los enfoques a nivel de punto.

Se espera que los métodos por listas funcionen mejor porque la clasificación es inherentemente una tarea a nivel de lista. Sin embargo, a menudo tienen dificultades cuando se usan con modelos de lenguaje debido a dos problemas principales. Primero, los modelos de lenguaje pueden producir resultados conflictivos o irrelevantes cuando se les da una gran cantidad de información. Segundo, estos modelos tienen un límite fijo en cuanto a la cantidad de entrada que pueden manejar, lo que puede obstaculizarlos cuando intentan incluir todos los artículos candidatos.

Por otro lado, los métodos por pares permiten realizar comparaciones entre artículos sin los inconvenientes que vienen con los métodos por listas. Aún así, sus demandas computacionales son típicamente más altas en comparación con los métodos a nivel de punto.

Varios trabajos notables han investigado enfoques por pares para recomendaciones basadas en texto. Algunos introducen técnicas de ordenación burbuja para realizar la clasificación mediante preguntas por pares. Otros métodos clasifican artículos usando puntuaciones a nivel de punto y ajustan estas clasificaciones a través de comparaciones por pares. A pesar de su promesa, estos enfoques a menudo quedan cortos debido a su intensidad computacional.

Para hacer que los métodos por pares sean más eficientes, algunos han sugerido reducir la cantidad de comparaciones realizadas mediante métodos de muestreo aleatorio. Si bien estas mejoras aumentan la escalabilidad, no garantizan resultados óptimos.

Nuestra investigación propone un método teóricamente fundamentado que realiza de manera eficiente la clasificación por pares. Nos enfocamos en las siguientes contribuciones clave:

• Un modelo de múltiples tareas que se entrena simultáneamente para predicciones a nivel de punto y por pares. Tratamos ambas tareas como clasificaciones, alineándolas con los objetivos de entrenamiento del modelo de lenguaje.
• Una estrategia de inferencia eficiente donde comenzamos con una clasificación basada en puntuaciones a nivel de punto y la refinamos usando re-clasificación por pares. Esto implica comparar artículos clasificados de derecha a izquierda.
• Un marco teórico basado en cadenas de Markov que establece criterios claros para verificar cuándo nuestra estrategia mejora las métodos de clasificación existentes.
• Experimentos completos que demuestran que nuestro método supera las técnicas más avanzadas actuales en conjuntos de datos de recomendación de noticias bien establecidos.

Mientras que nuestro enfoque principal es la recomendación de noticias, nuestro método propuesto también se puede aplicar a otras tareas basadas en texto.

#El Algoritmo Propuesto: GLIMPSE

La recomendación de noticias implica clasificar un grupo de artículos de noticias potenciales basados en el historial de clics del usuario. El objetivo es clasificar los artículos más alto cuando son preferidos por el usuario. Este objetivo requiere tanto evaluar la relevancia como entender las preferencias, lo que significa que los clics del usuario deben ser vistos no solo como decisiones binarias, sino como indicaciones de preferencia.

Para satisfacer esta necesidad, introducimos GLIMPSE, un método diseñado para optimizar estas dos tareas al mismo tiempo. GLIMPSE puede adaptarse a varios problemas de recomendación y funciona bien con cualquier modelo generativo.

Durante el entrenamiento, recibimos etiquetas de clics para indicar si un artículo en el conjunto de candidatos fue clicado por el usuario. Durante la inferencia, nuestro objetivo es producir una lista clasificada de elementos que reflejen cómo deberían presentarse al usuario. Usando las etiquetas verdaderas, determinamos las clasificaciones reales y medimos el éxito a través de métricas como AUC (Área Bajo la Curva), MRR (Rango Recíproco Medio), nDCG@5 y nDCG@10, que buscamos optimizar.

GLIMPSE opera a través de un enfoque de entrenamiento de múltiples tareas donde el modelo de lenguaje se ajusta para manejar tanto la predicción de relevancia como las tareas de comparación de preferencias. Durante la inferencia, las predicciones iniciales de la tarea de relevancia producen una clasificación a nivel de punto que luego se mejora mediante comparaciones por pares a través de pasadas de derecha a izquierda.

Nuestro enfoque emplea un método completamente de texto a texto utilizando un modelo de transformador, diseñado específicamente para realizar tanto la clasificación a nivel de punto como por pares. La predicción a nivel de punto requiere menos llamadas al modelo, mientras que las comparaciones por pares podrían necesitar numerosas evaluaciones, haciéndolas menos prácticas. Nuestro método equilibra ambos comenzando con clasificaciones a nivel de punto, seguido de comparaciones de elementos adyacentes.

Primero describimos cómo ajustamos nuestro modelo generativo, combinando la predicción de relevancia y la predicción de preferencia en una única tarea de generación de texto. Este entrenamiento de múltiples tareas nos permite utilizar un solo modelo para ambas tareas. Las clasificaciones iniciales se establecen a través de la predicción de relevancia a nivel de punto, seguidas de un refinamiento con comparaciones por pares para lograr una lista clasificada final.

#Entrenamiento de Múltiples Tareas para Clasificación

La estrategia de entrenamiento de múltiples tareas se basa en la premisa de que optimizar tanto la clasificación como las tareas de ranking juntas puede resultar en un mejor rendimiento que centrarse únicamente en una u otra. Esto es especialmente cierto cuando los datos son limitados.

#Predicción de Relevancia a Nivel de Punto (Rel)

Para la primera tarea, clasificamos la relevancia de un artículo candidato en función del historial del usuario. Esto implica analizar cada artículo de forma individual. Entrenamos al modelo para determinar si un artículo dado es relevante o no basándose en el historial de clics. Después del ajuste, derivamos una función de predicción de relevancia que calcula la probabilidad de que un artículo sea apropiado para un usuario.

En la práctica, interpretamos la probabilidad de predicción de un resultado positivo como la puntuación de relevancia para un artículo.

#Predicción de Preferencia por Pares (Pref)

La segunda tarea implica determinar las preferencias entre dos artículos candidatos. Dado dos artículos y el historial del usuario, el modelo predice qué artículo preferiría el usuario. Esto también se puede enmarcar como una tarea de generación de texto.

Después del ajuste, el modelo proporciona una predicción de qué artículo es preferido para un usuario particular. Utilizamos probabilidades de preferir un artículo sobre el otro para nuestro proceso de toma de decisiones.

#Entrenamiento de Múltiples Tareas

Empleamos indicaciones específicas de la tarea para distinguir entre las dos tareas, planteando ambas como desafíos de generación de texto. Cada muestra de entrenamiento representa una situación en la que el modelo recibe entrada sobre los candidatos y la tarea relevante. Durante el entrenamiento, mezclamos puntos de datos entre tareas para el ajuste de múltiples tareas, maximizando la probabilidad que captura ambas tareas.

#Inferencia de Clasificación Agregada

Nuestro modelo predice de manera efectiva las puntuaciones de relevancia a nivel de punto y realiza comparaciones de preferencia por pares. Aquí introducimos un nuevo enfoque de inferencia que combina estas capacidades para refinar las clasificaciones.

#Estrategia de Agregación de Clasificación

Comenzamos clasificando artículos en función de sus puntuaciones de relevancia, ordenándolos en orden descendente. Luego aplicamos comparaciones por pares a los elementos mejor clasificados para refinar la lista aún más. Esto implica ejecutar pasadas de derecha a izquierda donde se comparan artículos adyacentes, permitiendo intercambios basados en predicciones de preferencia. La cantidad de pasadas y elementos considerados en estas pasadas son hiperparámetros que controlamos.

Nuestro método propuesto promete un mejor rendimiento de clasificación bajo ciertas condiciones en comparación con depender únicamente de clasificaciones de relevancia a nivel de punto. La eficiencia de nuestra estrategia permite una implementación práctica en sistemas del mundo real.

#Análisis Teórico

Proporcionamos un marco teórico para nuestra estrategia propuesta. Al analizar las permutaciones de los elementos candidatos y su relevancia, podemos derivar expectativas sobre nuestras métricas de clasificación para guiar las evaluaciones de mejora.

Usando un modelo de cadena de Markov, exploramos cómo múltiples aplicaciones de nuestro refinamiento de clasificación pueden ser capturadas y evaluadas. La matriz de transición caracteriza la probabilidad de pasar de un estado de clasificación a otro basándose en comparaciones por pares.

En esencia, esperamos demostrar que nuestro proceso de inferencia de dos etapas mejora consistentemente el rendimiento de clasificación, dado que el modelo de inferencia por pares supera al modelo a nivel de punto.

#Experimentos en los Conjuntos de Datos MIND y Adressa

Realizamos experimentos en los conjuntos de datos de recomendación de noticias MIND y Adressa para validar nuestro enfoque. Comparar nuestro método con trabajos existentes y explorar varias estrategias de inferencia junto con un estudio de ablación para comprender el impacto de cada componente de la estrategia.

Ambos conjuntos de datos comprenden interacciones de usuarios con noticias, con MIND conteniendo información de un sitio de agregación de noticias y Adressa proveniente de un sitio web de noticias noruego. Para comparaciones justas, utilizamos el pequeño subconjunto de MIND para entrenamiento.

A través de pruebas exhaustivas, encontramos que nuestras mejores estrategias superaron a los competidores líderes en varias métricas en ambos conjuntos de datos, demostrando la efectividad de nuestro método.

#Estrategias de Inferencia

Existen varias estrategias disponibles para combinar predicciones a nivel de punto y por pares en una sola recomendación. Discutimos múltiples enfoques considerando el rendimiento y la eficiencia computacional.

Nuestros hallazgos ilustran que GLIMPSE, utilizando una pasada de derecha a izquierda en los artículos mejor clasificados, supera a otras estrategias. Demostramos las ventajas de nuestro enfoque a través de métricas de rendimiento.

#Estudio de Ablación

Al entrenar un modelo a nivel de punto más débil, exploramos cómo se desempeña nuestro marco bajo diferentes fortalezas del modelo a nivel de punto. Al combinar con un modelo por pares fuerte para pasadas por pares, nuestro método mostró mejoras marcadas en el rendimiento de clasificación.

Además, examinamos cómo el entrenamiento de múltiples tareas afectó la clasificación a nivel de punto, revelando caídas significativas en el rendimiento sin este entrenamiento.

#Trabajo Relacionado

Nos enfocamos en métodos de recomendación de noticias que aprovechan modelos de lenguaje avanzados y técnicas de clasificación por pares. La literatura existente revela métodos y estrategias diversas utilizadas para mejorar la clasificación en tareas de recomendación basadas en texto.

#Conclusión

Introdujimos GLIMPSE, un algoritmo de recomendación versátil que combina de manera efectiva estrategias a nivel de punto y por pares. Nuestro método demuestra mejoras de rendimiento sobre modelos existentes en aplicaciones del mundo real, enfatizando tanto la efectividad como la eficiencia computacional en la recomendación de noticias.