Cross-Refinar: Mejorando las Explicaciones de los Modelos de Lenguaje

Las Explicaciones en lenguaje natural (NLEs) ayudan a aclarar la razón detrás de las decisiones tomadas por los modelos de lenguaje. Estas explicaciones son importantes porque permiten a las personas entender cómo la IA llega a sus conclusiones. Para generar estas NLEs, se han creado muchos métodos que utilizan grandes modelos de lenguaje (LLMs). Sin embargo, al igual que las personas, los LLMs no siempre obtienen los mejores resultados a la primera.

#Presentando Cross-Refine

Para mejorar la calidad de las explicaciones, presentamos un nuevo método llamado Cross-Refine. Este método funciona usando dos LLMs: uno actúa como Generador que crea la explicación inicial, y el otro actúa como Crítico que revisa y mejora la explicación. El generador produce la primera explicación, y luego el crítico ofrece retroalimentación y sugerencias para ayudar a refinarla.

Cross-Refine no necesita datos de entrenamiento especiales ni procesos de aprendizaje adicionales. Probamos Cross-Refine en tres tareas de lenguaje usando tres LLMs de código abierto avanzados y comparamos su rendimiento con un método anterior llamado Self-Refine. Self-Refine solo utiliza la retroalimentación del mismo modelo para mejorar sus propias explicaciones.

Nuestras pruebas mostraron que Cross-Refine supera a Self-Refine y funciona bien incluso con LLMs menos potentes, mientras que Self-Refine da lo mejor de sí con modelos más avanzados como ChatGPT. También examinamos cuán importante es la retroalimentación y las sugerencias del crítico, encontrando que ambas son cruciales para mejorar las explicaciones. Además, evaluamos el rendimiento de Cross-Refine utilizando datos en inglés y alemán.

#Ejemplo de Explicación

Por ejemplo, si la pregunta es: "¿Dónde pedirías café si no tienes ninguno?", el generador puede dar una respuesta incorrecta al principio. El crítico atrapará este error y proporcionará la retroalimentación adecuada, ayudando al generador a corregirse para una mejor explicación.

#Importancia de las Explicaciones en Lenguaje Natural

A medida que los LLMs se vuelven más complejos, las NLEs son esenciales para una IA explicable. Sirven como conexión entre los sistemas de IA y los humanos, ofreciendo justificaciones de una manera fácil de entender. Aunque los LLMs se usan ampliamente para crear NLEs, a menudo cometen errores en sus primeras respuestas, a veces proporcionando información incorrecta o engañosa.

Los LLMs pueden mejorar su razonamiento con el tiempo sin necesidad de ayuda externa. Esta idea llevó al desarrollo de Self-Refine, donde los LLMs se dan retroalimentación a sí mismos para mejorar gradualmente sus resultados. Sin embargo, los modelos más pequeños a menudo tienen dificultades con este enfoque y pueden generar respuestas repetidas o defectuosas.

#El Papel de Cross-Refine

En este método, el generador crea la explicación inicial, mientras que el crítico la revisa y sugiere mejoras. Esta colaboración ayuda a abordar los límites de los LLMs que no siempre pueden autocorregirse de manera efectiva. Al usar retroalimentación y sugerencias de un modelo diferente, Cross-Refine puede mejorar significativamente la calidad de las explicaciones.

Validamos Cross-Refine en tareas como preguntas de sentido común, inferencia de lenguaje natural y verificación de hechos. Para la evaluación, utilizamos tanto métricas automatizadas como evaluaciones humanas, enfocándonos en factores como cuán veraces y coherentes son las explicaciones. Los resultados indican que Cross-Refine generalmente supera a Self-Refine cuando los modelos tienen un buen conocimiento relevante para las tareas.

#Comparación de Rendimiento

Cross-Refine se desempeña especialmente bien con LLMs menos potentes, demostrando que aún puede producir explicaciones de alta calidad incluso cuando el modelo subyacente no es de última generación. En contraste, Self-Refine tiende a dar resultados satisfactorios solo cuando se usa con modelos robustos como ChatGPT.

Cuando probamos Cross-Refine con un conjunto de datos bilingüe que contenía ejemplos en inglés y alemán, consistentemente tuvo un mejor rendimiento que Self-Refine, especialmente en explicaciones en alemán.

#Evaluando Explicaciones

Para asegurarnos de que las explicaciones sean precisas y comprensibles, revisamos varias métricas automatizadas que ayudan a medir qué tan bien los textos generados coinciden con las explicaciones escritas por humanos. Algunas métricas evalúan cuán similares son las explicaciones generadas a los textos de referencia, mientras que otras chequean cuánta nueva información se proporciona.

Para la evaluación humana, nos centramos en varios aspectos clave como plausibilidad, fidelidad y coherencia. Pedimos a evaluadores humanos que calificaran las explicaciones producidas por Cross-Refine y Self-Refine según estas dimensiones.

#Estudios de Usuario

En nuestro estudio de usuarios, limitamos el alcance a los conjuntos de datos más manejables y seleccionamos los modelos que mostraron resultados prometedores. Muestreamos aleatoriamente instancias que cumplían con criterios específicos, asegurándonos de que las respuestas que examinamos fueran significativas.

#Hallazgos de los Estudios de Usuario

Nuestros estudios indicaron que Cross-Refine generalmente superó a Self-Refine, especialmente en términos de coherencia. Para el conjunto de datos HealthFC, aunque "self Cross-Refine," que usa el mismo modelo para ambos roles, mostró buenos resultados, combinar diferentes modelos a menudo condujo a un peor rendimiento.

En general, encontramos que cuando se requiere que los modelos razonen sobre temas fuera de su experiencia, no rinden bien. Esto es especialmente cierto en campos especializados como la medicina, donde incluso los mejores modelos pueden tener dificultades.

#Importancia de la Retroalimentación y las Sugerencias

Nuestra investigación destacó la importancia de la retroalimentación y las sugerencias del crítico para mejorar las explicaciones del generador. Un análisis adicional confirmó que ambos componentes son vitales para el refinamiento. Esta percepción indica que tener una fuente externa de retroalimentación mejora significativamente la calidad de las explicaciones.

#Aplicación de Cross-Refine en Alemán

Para la parte en alemán del conjunto de datos, realizamos evaluaciones automáticas y observamos que Cross-Refine superó constantemente a Self-Refine. Utilizamos varias métricas adecuadas para el alemán para evaluar las explicaciones generadas, mostrando la efectividad de Cross-Refine en producir resultados de alta calidad en idiomas distintos al inglés.

#Direcciones Futuras

Si bien Cross-Refine se destaca por su capacidad para mejorar las explicaciones, reconocemos limitaciones en el uso de un número reducido de demostraciones debido a restricciones en la longitud de contexto. Trabajos futuros podrían explorar formas más eficientes de comprimir solicitudes mientras se mantiene o mejora el rendimiento del modelo.

Además, planeamos investigar qué tan bien se pueden alinear la retroalimentación creada por humanos con las sugerencias generadas por el modelo y si enfocarse en dominios específicos puede llevar a mejores resultados.

#Conclusión

En resumen, Cross-Refine presenta una forma efectiva de mejorar las NLEs mediante un enfoque colaborativo con dos LLMs. Logra mejoras en inglés y alemán, proporcionando explicaciones de alta calidad incluso con modelos menos potentes. Los hallazgos subrayan la importancia de incorporar retroalimentación externa en el refinamiento de los resultados de IA, allanando el camino para futuras investigaciones en IA explicable. Al reconocer las limitaciones de los LLMs y refinar sus enfoques, podemos asegurar que los sistemas de IA proporcionen explicaciones más claras y precisas a los usuarios.