Evaluando el rendimiento de los motores de búsqueda a través de las sesiones de usuario

En el mundo de los motores de búsqueda, los usuarios a menudo escriben múltiples preguntas para encontrar respuestas y explorar diferentes temas en una sola sesión de búsqueda. Los investigadores han reconocido que evaluar el rendimiento de los motores de búsqueda debería centrarse en estas sesiones en lugar de solo mirar consultas individuales. Al entender cómo los usuarios interactúan con una serie de preguntas, podemos crear mejores métodos de evaluación para los sistemas de búsqueda.

#Importancia de la Evaluación a Nivel de Sesión

Cuando los usuarios enfrentan necesidades de información complejas, tienden a hacer varias consultas y revisar una variedad de documentos. Esto hace que sea esencial evaluar cuán bien funciona un motor de búsqueda durante toda la sesión, no solo por cada pregunta individual. Las métricas tradicionales suelen evaluar cada consulta por separado y luego combinan esos puntajes. Sin embargo, este enfoque asume que todas las consultas deberían ser evaluadas de manera igual y en un orden fijo, lo cual no siempre es así.

Si un usuario está satisfecho con los resultados de sus consultas iniciales, puede que no necesite seguir buscando. Además, en situaciones del mundo real, a menudo carecemos de retroalimentación directa de los usuarios sobre la relevancia de los documentos. En su lugar, nos basamos en medidas indirectas como los clics para evaluar la Satisfacción del usuario.

#Retos en la Evaluación Basada en Sesiones

Hay dos desafíos principales a considerar al evaluar sesiones de búsqueda:

1. Muchas métricas basadas en sesiones evalúan las consultas de manera independiente y luego agregan esos resultados. Esto pasa por alto la posibilidad de que si un usuario está contento con los primeros resultados, puede que no haga más consultas.

2. La mayoría de los métodos de evaluación dependen de los clics como señales de relevancia. Sin embargo, dado que los usuarios pueden pasar por alto documentos relevantes en consultas anteriores, tratar simplemente los documentos no clicados como irrelevantes puede llevar a conclusiones incorrectas sobre la efectividad de un sistema de búsqueda.

Para abordar estos problemas, podemos hacer dos suposiciones: Primero, deberíamos considerar un motor de búsqueda ideal que presente todos los documentos relevantes antes de cualquier contenido irrelevante. Segundo, si un usuario hace clic en un documento más tarde en una sesión que no se había clicado antes, aún deberíamos considerarlo relevante para las preguntas anteriores en la misma sesión.

#Presentando la Medida U Normalizada (NUM)

Para enfrentar los desafíos mencionados, proponemos una nueva métrica a nivel de sesión llamada Medida U Normalizada (NUM). Esta nueva métrica evalúa toda la sesión como una sola entidad en lugar de descomponerla en consultas individuales. Al hacer esto, podemos obtener una comprensión más precisa de la satisfacción del usuario.

NUM se basa en las dos suposiciones mencionadas anteriormente, lo que nos permite:

• Utilizar una sesión ideal como referencia para la evaluación.
• Inferir etiquetas de relevancia a partir de los datos de clics a lo largo de la sesión.

Al evaluar la sesión en su conjunto, podemos proporcionar una imagen más clara de cuán bien un motor de búsqueda satisface las necesidades del usuario.

#Metodología

#Evaluando Sesiones de Búsqueda

En lugar de agregar puntajes de consultas individuales, NUM adopta un enfoque más holístico. Crea un trailtext completo, que consiste en todo el contenido relevante que un usuario podría leer durante una sesión. Este trailtext refleja tanto las interacciones reales del usuario como los resultados ideales de búsqueda que aspiramos a lograr.

Al construir el trailtext ideal, reorganizamos los documentos para asegurarnos de que todo el contenido relevante aparezca primero. Esta configuración anima a los usuarios a encontrar lo que necesitan con un esfuerzo mínimo y sin tener que reformular sus consultas repetidamente.

#Manejo de Datos de Clics

Los datos de clics juegan un papel crucial en la evaluación del rendimiento de los sistemas de búsqueda. Sin embargo, simplemente tratar los documentos clicados como relevantes puede ser engañoso. Por ejemplo, los usuarios pueden pasar por alto algunos documentos en las consultas iniciales pero descubrirlos en las siguientes. Por lo tanto, si un usuario hace clic en un documento más tarde en la sesión, deberíamos considerarlo relevante para consultas anteriores.

Para mejorar los datos de clics, etiquetamos documentos relevantes según el comportamiento del usuario a lo largo de la sesión. Este proceso nos permite crear un conjunto de etiquetas de relevancia más preciso, ayudándonos a evaluar la sesión de manera más efectiva.

#Experimentos y Resultados

Para evaluar la efectividad de NUM, realizamos experimentos utilizando dos conjuntos de datos públicos. Estos conjuntos de datos nos permitieron comparar NUM con métricas basadas en sesiones existentes y examinar su correlación con la satisfacción del usuario.

#Resumen de Conjuntos de Datos

Los conjuntos de datos utilizados en nuestros experimentos incluyeron sesiones que registraron interacciones de usuarios con resultados de búsqueda. Estas sesiones también contenían calificaciones de satisfacción de los usuarios, que sirven como una referencia esencial para evaluar nuestra métrica propuesta.

Filtramos los conjuntos de datos para mantener sesiones que involucraban múltiples consultas y clics. Este enfoque nos permitió obtener información confiable sobre cómo los usuarios interactúan con los motores de búsqueda.

#Comparación de Rendimiento

Comparamos el rendimiento de NUM con métricas tradicionales, incluyendo DCG basado en sesiones y otras técnicas de evaluación establecidas. Nuestros hallazgos revelaron que NUM tuvo un mejor desempeño de manera consistente al estimar la satisfacción del usuario.

La habilidad de NUM para tener en cuenta el comportamiento del usuario a lo largo de toda la sesión contribuyó a su rendimiento superior. En particular, encontramos que normalizar el puntaje de evaluación con respecto a una sesión ideal mejoró significativamente la correlación de la métrica con la satisfacción del usuario.

#Intuición de NUM

Además de estimar la satisfacción del usuario, también examinamos cuán intuitiva es nuestra métrica en comparación con métodos tradicionales. La intuición es vital ya que refleja cuán bien una métrica se alinea con las expectativas y experiencias del usuario.

NUM demostró ser más intuitiva que sus contrapartes. Los resultados indicaron que los usuarios eran más propensos a favorecer sesiones de búsqueda que coincidían con lo que NUM predecía que sería satisfactorio. Al incluir aspectos como el tiempo de reformulación en la evaluación, NUM capturó las experiencias del usuario de manera más precisa.

#Conclusión y Trabajo Futuro

En resumen, nuestro trabajo destaca la importancia de evaluar los sistemas de búsqueda a nivel de sesión. Introdujimos la Medida U Normalizada (NUM) como una métrica que captura el comportamiento del usuario a lo largo de toda una sesión de búsqueda, en lugar de depender únicamente de evaluaciones de consultas individuales. Este enfoque permite una comprensión más profunda de cuán efectivamente los motores de búsqueda cumplen con las necesidades del usuario.

A través de nuestros experimentos, demostramos la capacidad de NUM para correlacionarse mejor con la satisfacción del usuario en comparación con métricas tradicionales. También resultó ser más intuitiva, lo que sugiere que los desarrollos futuros en métricas de evaluación de sesiones podrían beneficiarse de enfoques holísticos similares.

De cara al futuro, hay varias áreas para explorar más. Planeamos realizar más estudios con usuarios para validar nuestras suposiciones sobre la evaluación de sesiones. Además, aspiramos a explorar técnicas de mejora para los datos de clics, considerando más factores como el tiempo de permanencia y los patrones de interacción del usuario.

Al ampliar nuestra comprensión de las evaluaciones basadas en sesiones, esperamos contribuir a la mejora continua de los sistemas de búsqueda y mejorar la experiencia general del usuario.