Mejorando las respuestas del chatbot con contexto

En tiempos recientes, los chatbots se han vuelto más comunes en nuestras vidas. Usan modelos de lenguaje grandes para generar texto que a menudo es similar a lo que podría decir un humano. Sin embargo, estos chatbots a veces dan información incorrecta, lo cual puede ser un gran problema sin importar cuán avanzado sea el modelo.

Para mejorar las respuestas de estos chatbots, podemos usar fuentes externas de información. Estos sistemas, conocidos como sistemas de recuperación aumentada, han demostrado funcionar mejor que aquellos que se basan solo en parámetros. Al usar información de fuentes externas, los chatbots pueden ofrecer respuestas más precisas y reducir errores.

En un entorno empresarial, los chatbots pueden acceder a mucha información específica sobre el usuario, como los detalles de su cuenta, actividades recientes o incluso la fecha y hora actual. Por ejemplo, si un usuario pregunta: “¿Soy elegible para este reembolso?”, se podría dar una respuesta genérica si no hay contexto adicional disponible. Pero si consideramos la información del usuario, el chatbot podría decir: “Sí, eres elegible ya que vives en Singapur.” Este toque personalizado no solo mejora la respuesta, sino que también ayuda al sistema a entender mejor la intención del usuario.

Elegir el contexto adecuado para proporcionar junto con la información es un desafío, pero tiene un gran potencial para las empresas. Si se incluye demasiada información, podría confundir al chatbot o superar sus límites de procesamiento. Por otro lado, proporcionar un contexto irrelevante puede dañar la calidad de la respuesta. Por lo tanto, la pregunta principal se convierte en: ¿cómo puede un sistema conversacional recuperar el contexto adecuado para responder a una consulta de usuario, y puede este contexto ayudar a identificar la información más relevante?

Para abordar esto, se ha introducido una nueva tarea llamada recuperación de pasajes con conciencia de contexto. Esta tarea se centra en recuperar no solo el documento relevante de una colección determinada, sino también el contexto apropiado para una consulta de usuario dada.

Cuando un usuario interactúa con un chatbot, el sistema puede acceder a una colección de documentos y contexto específico del usuario. También hay un historial de conversación que consiste en intercambios anteriores en la sesión de chat actual. Para nuestro estudio, nos enfocamos en una sola pregunta del usuario para simplificar el análisis.

El objetivo es encontrar:

1. El documento más relevante relacionado con la consulta del usuario.
2. El contexto más relevante que ayude a generar una respuesta adecuada.

Para medir cuán bien funcionan los documentos y el contexto recuperados, se utilizan métricas estándar. Estas ayudan a evaluar la efectividad del sistema para encontrar la información correcta de fuentes externas.

#El conjunto de datos ORCA-ShARC

Para mejorar la recuperación de pasajes con conciencia de contexto, se creó un conjunto de datos llamado ORCA-ShARC. Este conjunto de datos es único porque combina conjuntos de datos de preguntas-respuestas tradicionales con la necesidad de información contextual. Los conjuntos de datos anteriores típicamente solo proporcionaban un contexto relevante para cada ejemplo, pero ORCA-ShARC ofrece un conjunto de contextos para elegir.

Para cada ejemplo en el conjunto de datos, generamos varios contextos tomando el contexto relevante original y añadiendo más del conjunto de datos sin crear contradicciones. Cada ejemplo tiene alrededor de diez piezas de contexto disponibles. De esta manera, el conjunto de datos refleja un escenario más realista donde los chatbots pueden acceder a múltiples piezas contextuales al responder a las consultas de los usuarios.

#Nuestro enfoque

Comparamos el nuevo método, conocido como Búsqueda Personalizada Consciente del Contexto (PCAS), con tres otros métodos de referencia. La idea detrás de PCAS es predecir tanto el documento como el contexto como un par coincidente con relevancia para la consulta del usuario.

Primero, el sistema recupera un conjunto de candidatos a documentos basados en la pregunta del usuario. Luego, para cada documento, identifica el contexto más adecuado de las opciones disponibles. Finalmente, se utiliza un sistema de puntuación para seleccionar el mejor par coincidente de documento y contexto.

La lógica es sencilla. A veces, la pregunta del usuario puede no dar suficiente información sobre lo que necesita, pero el sistema puede adivinar la intención basándose en el contexto recopilado. Este emparejamiento de documentos con detalles específicos del usuario permite una mejor precisión en la generación de respuestas.

#Resultados de los experimentos

En nuestra evaluación, probamos tanto el nuevo enfoque PCAS como los métodos de referencia en el conjunto de datos ORCA-ShARC usando varios sistemas de recuperación populares. Los resultados mostraron que PCAS superó constantemente a los métodos de referencia y fue mejor en recuperar el pasaje y el contexto correctos.

Los experimentos revelaron variaciones en el rendimiento entre diferentes sistemas, apoyando la idea de que qué tan bien funciona un método puede depender mucho del contexto en el que se use. Notablemente, cuando no se conocía el contexto relevante original, PCAS aún logró recuperar la información de manera más efectiva que otros métodos, demostrando la importancia de considerar documentos y contexto juntos.

#Recuperación de contexto y pasajes explicada

La tarea de recuperación de pasajes-contexto es más que solo encontrar el documento correcto. Se trata de determinar los detalles relevantes que acompañan a este documento. Cuando el usuario inicia una conversación, el chatbot tiene acceso a un conjunto estático de documentos y contexto personalizado de la base de datos. El historial de conversación también está disponible, pero para simplificar, nos enfocamos principalmente en la pregunta actual del usuario.

El objetivo final es combinar tanto los documentos recuperados como los contextos para crear respuestas valiosas para los usuarios.

#Trabajo relacionado

Investigaciones anteriores han examinado sistemas de preguntas-respuestas conscientes del contexto, pero a menudo carecían del aspecto de recuperación. Nuestro trabajo busca cerrar esta brecha explorando contextos no estructurados, que difieren de los datos estructurados vistos en proyectos anteriores.

Además, nuestra tarea toma un enfoque distinto en comparación con los sistemas de recomendación contextuales, que no interactúan directamente con las consultas de los usuarios. Otros conjuntos de datos relacionados estudiaron preguntas y respuestas de dominio abierto, pero no utilizaron el contexto externo de manera efectiva.

Por último, aunque ha habido estudios sobre el uso de detalles de sesiones de chat pasadas, no han explorado la integración de la recuperación de documentos junto con estos elementos contextuales.

#Direcciones futuras

Este trabajo introduce una nueva tarea en el ámbito de la recuperación de pasajes con conciencia de contexto y sienta las bases para futuras investigaciones. Hay muchos caminos por delante, como extender el método PCAS a más partes del proceso de entrenamiento, vincularlo con sistemas de generación de respuestas o crear conjuntos de datos de la vida real que incluyan comentarios de los usuarios.

Dado que el objetivo es mejorar los sistemas de conversación, el enfoque principal sigue siendo optimizar la recuperación de contenido y contexto. Evaluar la calidad de las respuestas generadas será un paso natural a seguir.

#Consideraciones éticas

En esta investigación, no se encontraron problemas éticos inmediatos con respecto a los impactos sociales. El conjunto de datos no genera información usando modelos de IA, lo que reduce el riesgo de desinformación o contenido dañino. Sin embargo, es esencial abordar el contexto del usuario con precaución, para evitar invadir la privacidad del usuario o causar incomodidad con la cantidad de información almacenada.

Este trabajo busca inspirar avances adicionales en los sistemas de recuperación, centrándose en mejorar la calidad de las respuestas dadas a los usuarios. La capacidad de integrar el contexto del usuario en los sistemas de conversación presenta posibilidades emocionantes para el futuro.