Adaptando la IA a un paisaje de conocimiento cambiante

En nuestro mundo, la información no se queda igual por mucho tiempo. Cambia, crece y se actualiza regularmente. Esto se ha convertido en un problema para los sistemas que dependen del conocimiento existente, que puede volverse obsoleto rápidamente. Para solucionar este problema, necesitamos métodos que permitan a estos sistemas mantenerse al día con los cambios en el conocimiento del mundo real.

Para abordar esto, creamos nuevos benchmarks llamados GrowOVER-QA y GrowOVER-Dialogue. Estos benchmarks están diseñados para probar sistemas de respuesta a preguntas y diálogo de dominio abierto. Se actualizarán continuamente para reflejar cambios en el conocimiento, asegurando que las respuestas sigan siendo precisas y relevantes. Nuestros estudios han mostrado que los modelos de lenguaje actuales tienen dificultades para manejar el conocimiento que es viejo o no se actualiza regularmente. Por eso, desarrollamos un nuevo enfoque que permite a estos modelos reevaluar sus respuestas y buscar información más precisa cuando sea necesario.

Muchas tareas en procesamiento de lenguaje natural dependen del conocimiento, como responder preguntas, comprobar hechos, enlazar entidades y tener conversaciones de dominio abierto. Estas tareas generalmente implican usar conocimiento para generar respuestas adecuadas a preguntas específicas. Sin embargo, el enorme volumen de información en el mundo hace imposible que los modelos almacenen todo en su memoria.

A menudo, cuando un modelo necesita producir una respuesta, utiliza un Recuperador. Este recuperador busca documentos o párrafos relevantes de una gran base de datos, mientras que el modelo genera una respuesta basada en la información recuperada. Los benchmarks anteriores en esta área proporcionaron textos y respuestas que se pueden usar para evaluar cuán bien funcionan los recuperadores y generadores.

Los benchmarks GrowOVER son únicos porque se crean y actualizan automáticamente. Proporcionan no solo las respuestas, sino también textos de evidencia para evaluar la precisión tanto de los recuperadores como de los generadores. Los textos de evidencia nos ayudan a ver qué tan bien funciona el modelo y si sus hechos son precisos.

La constante actualización del conocimiento en el mundo provoca que los benchmarks existentes se vuelvan obsoletos muy rápido. Esto hace que sea más difícil evaluar cuán bien pueden los modelos recuperar información actual. Las tareas en estos benchmarks necesitan ir más allá de formatos simples de preguntas y respuestas. En el mundo real, el conocimiento está más interconectado y es más complejo.

Para afrontar estos desafíos, diseñamos GrowOVER, que tiene dos partes principales: GrowOVER-QA y GrowOVER-Dialogue. Estos benchmarks ofrecen textos de evidencia junto con las respuestas, lo que permite una mejor evaluación de los modelos. Además, ayudan a mantener la calidad de los conjuntos de datos a medida que llegan nuevas instantáneas de información.

Además de la tarea de respuesta a preguntas, incluimos una tarea de diálogo que requiere que el modelo responda a los usuarios mientras se mantiene en tema y proporciona información útil. Esto lo hace más desafiante y pone a prueba la capacidad del modelo para manejar diferentes hilos de conversación.

Para asegurar que los modelos de lenguaje puedan adaptarse a los rápidos cambios en el conocimiento, los investigadores han explorado dos formas principales: usar recuperación y preentrenamiento continuo. El enfoque de recuperación permite a los modelos acceder a información actualizada a través de un recuperador, mientras que el preentrenamiento continuo se centra en actualizar el conocimiento del modelo directamente.

Sin embargo, actualizar constantemente los modelos puede ser costoso y puede reducir su rendimiento con el tiempo. Por otro lado, depender solo de un recuperador podría no siempre dar los mejores resultados. Proponemos un marco llamado Modelo de Lenguaje Interactivo de Recuperación (RiLM), que permite al modelo evaluar sus respuestas y, si es necesario, solicitar mejor información al recuperador para mejorar sus respuestas.

Nuestras contribuciones son dos: introducimos los benchmarks GrowOVER, que se actualizan continuamente para evaluar cuán bien los modelos recuperan y generan respuestas, y proponemos el marco RiLM, que permite a los modelos proporcionar retroalimentación a los recuperadores para generar mejores respuestas.

#Trabajo Relacionado

La sensibilidad temporal es significativa en esta área de investigación. A menudo, cuando los conjuntos de datos de entrenamiento y prueba provienen de diferentes períodos, los modelos tienen un rendimiento deficiente. Los investigadores han examinado las capacidades de los modelos de lenguaje para manejar información sensible al tiempo.

Trabajos anteriores han demostrado que los modelos tienen dificultades para utilizar nueva información, incluso si está disponible a través de una base de datos actualizada. Para abordar esto, nuestro marco RiLM alienta al modelo a proporcionar retroalimentación al recuperador para ayudar a encontrar documentos más adecuados.

Otra área de enfoque es la Generación Aumentada por Recuperación (RAG). En fases anteriores, los modelos de lenguaje tenían una capacidad limitada para almacenar una gran cantidad de hechos. RAG se introdujo para ayudar a los modelos a generar respuestas basadas en contenido recuperado de documentos. En consecuencia, a medida que los modelos crecen y se preentrenan en grandes corpus de texto, utilizan contenido recuperado combinado con consultas para generar respuestas.

Además, el aprendizaje continuo permite a los modelos aprender de tareas secuenciales mientras retienen conocimiento de tareas anteriores. Esta área ha conducido a conceptos como el aprendizaje continuo de conocimiento, que ayuda a gestionar la naturaleza en constante evolución de nuestro conocimiento.

#El Conjunto de Datos GrowOVER

GrowOVER consta de dos conjuntos de datos: QA y Diálogo. La parte de QA verifica la capacidad del modelo para recordar y responder a consultas específicas, mientras que la parte de Diálogo enfatiza la interacción a lo largo de múltiples turnos, presentando tareas de generación más complejas.

Cada instancia en ambos conjuntos de datos tiene textos de evidencia, lo que nos permite comprobar cuánto conocimiento se retiene, actualiza o adquiere de nuevo. Nuestro benchmark se basa en instantáneas de Wikipedia, que contienen grandes cantidades de conocimiento actual. Comenzamos con datos de Wikipedia de agosto de 2023 y continuamos recopilando cambios hasta diciembre de 2023.

El proceso general para generar GrowOVER implica tomar instantáneas de artículos y usar herramientas como GPT-4 para crear instancias iniciales de QA y diálogo. A medida que nuevas instantáneas se vuelven disponibles, etiquetamos oraciones como sin cambios, cambiadas o nuevas según sus actualizaciones del mes anterior.

#Generación Inicial

Cada artículo se divide en párrafos, y se seleccionan hasta cuatro párrafos para generar preguntas y respuestas. Hemos establecido ciertos criterios para la selección, como limitar el número de oraciones para asegurar calidad y diversidad de contenido. Luego, GPT-4 crea preguntas y respuestas basadas en estas selecciones.

Para la generación de diálogos, aplicamos un proceso similar, enfatizando la interacción usuario-experto a lo largo de varios turnos. Cada oración utilizada en este intercambio se almacena como texto de evidencia para verificación.

#Etiquetado de Oraciones

A medida que llegan nuevas instantáneas de Wikipedia, verificamos las oraciones sin cambios comparándolas con versiones anteriores. Determinamos si las oraciones coinciden según puntajes de similitud y el contexto del texto circundante.

Clasificamos cada oración como sin cambios si mantiene similitud por encima de un cierto umbral, cambiada si hay contradicciones, y nueva si muestra baja similitud con oraciones pasadas. Este proceso nos permite tener alta confianza en la precisión del conjunto de datos.

#Actualizaciones Temporales

Para cualquier nuevo artículo agregado en la última instantánea, realizamos generación inicial como antes. Para los artículos ya en el conjunto de datos, verificamos los resultados de etiquetado para decidir si mantener las instancias existentes o crear nuevas. Este mantenimiento continuo permite que GrowOVER se mantenga actualizado con nueva información a medida que surge.

#El Marco RiLM

Después de que un modelo recibe una consulta, recupera documentos relevantes y genera indicaciones para sus respuestas. Un clasificador de certeza luego predice la confiabilidad de estas respuestas, lo que permite al modelo decidir si aceptar o reconsiderar la respuesta generada. Si la confianza del modelo es baja, regresa a la etapa de recuperación para buscar contextos mejorados.

El enfoque RiLM permite que un modelo aprenda de la información recuperada en el pasado, proporcionando una posibilidad fluida para respuestas precisas en el futuro. Este mecanismo de retroalimentación mejora la relevancia de los documentos recuperados y ayuda a generar mejores respuestas.

#Configuración Experimental

En nuestros experimentos, utilizamos varias líneas base para comparación, incluyendo modelos sin recuperación, aquellos que utilizan recuperación adaptativa y modelos preentrenados continuamente con nueva información. Al usar una base de datos diversa de artículos, evaluamos cuán bien cada modelo se desempeñó tanto en tareas de QA como de diálogo.

Registramos métricas como la puntuación F1 para tareas de QA y la puntuación BLEU para tareas de diálogo. Nuestros hallazgos mostraron cómo cada método se desempeñó en la recuperación de conocimiento y la generación de respuestas válidas bajo diversas condiciones.

#Resultados Experimentales

A lo largo de nuestros experimentos, resaltamos la efectividad de nuestro clasificador y el modelo interactivo de recuperación. Los resultados demostraron que nuestro método podría desempeñarse al menos tan bien como, si no mejor que, los modelos entrenados continuamente.

Encontramos mejoras consistentes en el rendimiento en todas las tareas, particularmente en cómo nuestros modelos se adaptaron al nuevo conocimiento y mantuvieron precisión con el tiempo. Aunque el rendimiento disminuyó durante los meses para todos los modelos, identificamos las razones detrás de estas declinaciones y sugerimos actualizaciones adicionales para mejorar futuras tareas.

#Conclusiones

Para resumir, introdujimos GrowOVER-QA y GrowOVER-Dialogue, benchmarks que reflejan la naturaleza dinámica del conocimiento en nuestro mundo. Proporcionan herramientas para evaluar cuán bien los sistemas recuperan y generan información. A través de nuestro marco RiLM, hemos creado una solución que permite a los modelos mejorar interactivamente sus respuestas basadas en retroalimentación.

Nuestra investigación confirmó que, si bien los modelos de lenguaje pueden adaptarse a nuevo conocimiento, las actualizaciones continuas son esenciales para mantener un rendimiento preciso. Esperamos que nuestros benchmarks guíen futuros trabajos sobre actualizaciones de modelos y optimización de recuperación.

#Limitaciones y Ética

A pesar de nuestros esfuerzos, algunas limitaciones permanecen en nuestro conjunto de datos y métodos. La precisión del etiquetado de oraciones es vital, y aunque diseñamos un proceso riguroso, pueden ocurrir errores. También reconocemos que nuestro conjunto de datos proviene principalmente de artículos individuales, lo que puede no capturar información de múltiples fuentes.

Además, necesitamos ser conscientes de que cierta información de Wikipedia puede quedarse atrás respecto a las actualizaciones en tiempo real en el mundo. Por lo tanto, nuestro conjunto de datos puede no reflejar siempre el conocimiento más actual y preciso.

Por último, aseguramos que nuestro conjunto de datos esté libre de discriminación y sesgo a través de reevaluaciones manuales por consideraciones éticas. Creemos que el monitoreo y las actualizaciones continuas son necesarios para mantener la integridad de nuestros sistemas.