¿Pueden los Modelos de Lenguaje Reemplazar los Juicios Humanos?

Los Modelos de Lenguaje Grande (LLMs) han estado ganando atención por su habilidad para evaluar diferentes tipos de textos, como resúmenes y conversaciones. Pero, ¿qué tan buenos son en este trabajo? Los métodos tradicionales de comprobar la calidad del texto, como BLEU y ROUGE, simplemente no sirven para medir los aspectos más finos de la escritura. Así que, los investigadores están viendo si los LLMs pueden intervenir y ofrecer una mejor evaluación.

#El Desafío de la Evaluación de Textos

Evaluar textos generados es complicado porque muchas veces no hay una sola respuesta "correcta". Piensa en ello como juzgar un concurso de comer pasteles. Puede haber múltiples formas de hacer un gran pastel, pero solo una persona puede ganar basado en el sabor, la textura y toda esa onda. De manera similar, al juzgar resúmenes o conversaciones, factores como la coherencia y la fluidez son clave. Estos elementos son difíciles de medir con los métodos tradicionales que solo buscan la superposición de palabras.

Los jueces humanos han sido durante mucho tiempo los preferidos para este tipo de trabajo, pero tienen sus fallas. Pueden cometer errores y, cuando se trata de evaluaciones grandes, pueden ser lentos e inconsistentes. Además, seamos honestos, no todos tienen el mismo gusto en pasteles—err, en evaluaciones. Ahí es donde entran los LLMs. Podrían ofrecer una forma rápida y económica de evaluar textos basándose en su vasto conjunto de datos de entrenamiento.

#Lo Que Hicieron los Investigadores

En su búsqueda por examinar la fiabilidad de LLMs como Google Gemini 1, los investigadores se propusieron ver cómo estos modelos se comparan con jueces humanos. Probaron diferentes maneras de pedir a los modelos que puntúen un texto mientras también daban razones para sus calificaciones. También querían ver cómo se mantienen estos modelos cuando el texto de entrada se pone un poco raro—como si alguien accidentalmente derramara un poco de pastel sobre él.

#Los Conjuntos de Datos

Para llevar a cabo sus pruebas, los investigadores usaron dos conjuntos de datos específicos. El primero, SummEval, presenta resúmenes generados a partir de artículos. El segundo, USR, contiene conversaciones de registros de chat. Cada conjunto de datos contiene muchos ejemplos donde los jueces humanos ya han calificado la calidad del texto. Esto proporcionó una base sólida para comparar con las evaluaciones del modelo.

#Métodos de Prueba

Los investigadores usaron una variedad de métodos para pedir a los modelos sus evaluaciones. Intentaron las siguientes estrategias:

1. Zero-Shot: El modelo genera una puntuación basada en su propia comprensión sin contexto adicional.
2. Knowledge-Prompt: Al modelo se le dan definiciones de los conjuntos de datos para guiar su puntuación.
3. Few-Shot: El modelo ve ejemplos de puntuaciones altas y bajas para informar sus calificaciones.
4. Chain-of-Thought: Se le pide al modelo que razone su puntuación paso a paso.

Elegieron la estrategia de Knowledge-Prompt como su enfoque base porque parecía más alineada con cómo los expertos humanos juzgaban los textos.

#Perturbaciones: La Sorpresa

Los investigadores no se detuvieron solo en comprobar qué tan bien lo hacían los modelos bajo condiciones normales. Decidieron lanzar algunas sorpresas—¿qué pasaría si cambiaron partes del texto de entrada para ver cómo respondían los modelos? Esto se llama "perturbación," un término elegante para “meter mano a las cosas.”

Crearon lo que se llama una "Puntuación Perturbada" (PR), que retorció el sistema de puntuación habitual para ver si el modelo aún podía proporcionar una evaluación razonable. La idea era hacerlo más difícil para el modelo, forzándolo a mostrar cuán flexible o rígidas son realmente sus habilidades evaluativas.

#Midiendo la Consistencia

Para ver qué tan de cerca las evaluaciones de los LLM coincidían con los juicios humanos, los investigadores recurrieron a una medida estadística conocida como alfa de Krippendorff. Este método ayuda a determinar qué tan consistentes son diferentes evaluadores, ya sean humanos o máquinas.

Cuando revisaron las puntuaciones de los jueces humanos y del modelo, encontraron patrones interesantes. Las puntuaciones del modelo variaron poco cuando se usaron distintas estrategias de solicitud, lo que significa que tenía un enfoque consistente. Sin embargo, los evaluadores humanos mostraron más inconsistencia, probablemente debido a interpretaciones personales.

#Los Resultados

Como se esperaba, el modelo se desempeñó bien en escenarios de evaluación normales. Pero cuando se trataba de lidiar con entradas perturbadas, las cosas se complicaron. El acuerdo de puntuación entre el modelo y los jueces humanos cayó significativamente. Esto fue especialmente cierto para métricas que evalúan la coherencia y la fluidez. Claramente, los modelos tuvieron problemas cuando se les presentó información contradictoria, lo cual es un desafío clave para usarlos como evaluadores confiables.

Curiosamente, mientras que las métricas USR mostraron cierta resiliencia ante estas perturbaciones gracias a sus escalas de puntuación más simples, la fiabilidad general de los LLMs sufrió bajo estas condiciones. Si los LLMs van a asumir el papel de evaluadores, necesitan ser más resistentes ante estos tipos de desafíos.

#Las Justificaciones Importan

Los investigadores también observaron las justificaciones que proporcionaron los LLMs para sus puntuaciones. Realizaron un análisis de sentimientos para entender mejor el tono y la calidad de estas explicaciones. El análisis de sentimientos ayuda a asignar una puntuación al tono emocional, que varía de negativo a positivo.

Sus hallazgos revelaron que cuando enfrentan perturbaciones, las justificaciones del modelo tienden a volverse más negativas. Esto insinuó una desalineación en su proceso de razonamiento cuando la entrada era confusa. Así que, aunque los LLMs podrían ofrecer buenas evaluaciones en circunstancias normales, pueden confundirse fácilmente cuando las entradas no son claras.

#Conclusión

Al final, el Gemini 1 de Google demostró que puede ofrecer evaluaciones consistentes a través de diferentes métodos, pero aún está encontrando su camino cuando se enfrenta a desafíos como perturbaciones adversariales. Los experimentos dejaron claro que los LLMs tienen un largo camino por recorrer antes de que se les pueda confiar la evaluación de la calidad subjetiva en textos sin supervisión humana.

Si bien este estudio no analizó otros modelos prominentes, como Llama o GPT, la investigación futura podría incluir esos para ver si manejan las tareas de evaluación de manera diferente. También vale la pena enfocarse en modelos más pequeños para ver cómo gestionan las sutilezas de las evaluaciones subjetivas.

En resumen, si bien los LLMs son herramientas prometedoras para comprobar la calidad del texto, aún queda mucho trabajo por hacer antes de que puedan reemplazar completamente a los jueces humanos. Después de todo, cuando se trata de evaluar la escritura, ¡podrían necesitar unas lecciones más en hacer pasteles!

#Ética en la Evaluación

A lo largo de este estudio, se siguieron estrictamente todas las pautas éticas. Se utilizaron los conjuntos de datos de manera responsable y todas las actividades de investigación se llevaron a cabo con respeto por el material fuente y la integridad del proceso de evaluación.

#Reflexiones Finales

A medida que el campo de la evaluación de textos continúa evolucionando, los investigadores se dedican a perfeccionar los métodos que utilizan LLMs. Investigaciones futuras podrían explorar cómo estos modelos pueden adaptarse y mejorar, haciéndolos más confiables para evaluar todo tipo de escritura—ya sean recetas de pasteles o diálogos complejos. Y seamos sinceros, ¿quién no querría ver un modelo que pueda puntuar pasteles? ¡Hablar de una verdadera rebanada de conocimiento!