Avances en la generación de texto controlable con LLMs

Controlar cómo se generan características específicas en el texto es importante para varias tareas. Por ejemplo, esto incluye ajustar lo formal que es un mensaje, cuán clara es una explicación o cuán emocional se siente una charla. Los modelos de lenguaje grandes (LLMs) han avanzado mucho en la generación de texto, lo que nos empuja a encontrar formas de controlar mejor estas características en sus salidas.

Este artículo propone una manera de medir qué tan bien podemos controlar la intensidad de características específicas en el texto que crean los LLMs. Nos enfocamos en métricas que examinan el rango, la consistencia y la precisión de estas características en el texto generado, basado en diferentes configuraciones de control. También evaluamos cuán relevante es el texto para el tema previsto.

Para medir estos aspectos, usamos un Marco de Evaluación que combina un método de puntaje bien conocido (sistema de calificación Elo) con un modelo de lenguaje potente (GPT-4). Ambas herramientas son conocidas por coincidir estrechamente con el juicio humano.

Nuestra investigación examina dos métodos que pueden ajustar cómo los LLMs producen texto sin necesidad de un entrenamiento extra. El primer método usa indicaciones con frases cuidadosamente seleccionadas que cambian el significado de las oraciones. El segundo método modifica el funcionamiento interno de los modelos. Probamos estas estrategias en varias características y modelos, y proporcionamos una forma de acceder a nuestro código y datasets para más investigación.

Un caso específico que mostramos es cómo controlamos la claridad de las explicaciones: al ajustar los valores de control, podemos cambiar cuán profesionales son las respuestas, lo que permite una personalización detallada en la comunicación.

La Generación de texto controlable, o CTG, satisface la necesidad de requisitos específicos establecidos por los usuarios o aplicaciones. Por ejemplo, ajustar el tono o la cortesía de un mensaje es algo que a menudo se necesita en diálogos. A medida que los sistemas de generación de lenguaje se vuelven más personalizados, crece la necesidad de esta capacidad.

Nuestro enfoque está en una tarea más definida llamada generación de texto controlable suavemente (SCTG). Mientras que las tareas de CTG aseguran que el texto generado cumpla con ciertas características, SCTG lleva esto un paso más allá al permitir diferentes niveles de intensidad de una característica. Por ejemplo, al escribir un correo electrónico, el nivel de formalidad puede cambiar según el destinatario. Otro ejemplo es al explicar un concepto; el detalle puede variar según el conocimiento previo de la audiencia.

El control suave exitoso significa proporcionar respuestas que no solo mantengan la intensidad de la característica deseada, sino que también respondan adecuadamente la pregunta original, sin importar esa intensidad. Esbozamos un marco con métricas para evaluar el rendimiento del control suave en estas dos áreas.

Nuestra evaluación se centra en dos partes clave. Primero, observamos si los niveles de intensidad son apropiados midiendo la calibración-cuán de cerca la intensidad coincide con el valor de control-y la varianza-cuánto cambia la intensidad a través de diferentes respuestas con el mismo valor de control. En segundo lugar, evaluamos la relevancia de las respuestas a las preguntas dadas.

Para lograr esta evaluación sin la intervención humana, requerimos un sistema automático que mida con precisión la intensidad de las características en las respuestas generadas. Usamos un LLM de última generación para simular la evaluación humana, junto con el sistema de calificación Elo para asegurar que estas evaluaciones se alineen con los juicios humanos.

Específicamente, examinamos pares de respuestas con niveles de intensidad diferentes y usamos GPT-4 para determinar qué respuesta expresa una mayor intensidad. Luego usamos el algoritmo de calificación Elo para convertir estas comparaciones en puntajes absolutos, que reflejan los niveles de intensidad de las respuestas correspondientes. Para reducir costos, hemos optimizado este pipeline, lo que nos permite obtener puntajes precisos sin necesidad de comparar cada par de respuestas.

A medida que los LLMs ganan más popularidad en la producción de texto para diversas aplicaciones, nuestro pipeline de evaluación ayuda a examinar su capacidad para lograr un control suave.

Investigamos dos métodos para lograr este control suave con LLMs. El primero es utilizar indicaciones con frases cuidadosamente seleccionadas, conocidas como cambiadores semánticos, adaptadas a cada característica. El segundo método, llamado Ingeniería de Representación (RepE), modifica las representaciones internas del modelo para lograr un control más preciso sobre la intensidad de las características. Este último método requiere acceder al funcionamiento interno de los modelos pero puede ofrecer ajustes más detallados.

Realizamos evaluaciones en una amplia gama de tareas, incluyendo la modificación de la intensidad emocional en chats casuales, el ajuste del grado de claridad y formalidad en la escritura, y el control del nivel de detalle en explicaciones de conceptos.

Nuestros hallazgos revelan algunas ideas: primero, los modelos más grandes no siempre rinden mejor en términos de control suave. Segundo, el uso de indicaciones parece ser casi tan efectivo, si no un poco mejor, que la ingeniería de representación.

Nuestras contribuciones clave incluyen: primero, definimos claramente la tarea del control suave e introducimos un nuevo estándar de evaluación, incluyendo un eficiente sistema de calificación basado en Elo y un conjunto de datos completo para benchmarking. Segundo, evaluamos a fondo el rendimiento de varios LLMs respecto al control suave a través de dos enfoques sin entrenamiento. El conjunto de datos y el código utilizados en nuestro estudio están disponibles públicamente para apoyar la investigación continua en esta área.

#Trabajo Relacionado

#Generación de Texto Controlable

Nuestro estudio sobre el control suave se basa en la generación de texto controlable (CTG), que tiene como objetivo crear oraciones que se ajusten a características específicas como tema, sentimiento o estilo. Manejar efectivamente estas características es vital para tareas de escritura avanzadas. Al manipular múltiples atributos a la vez, es teóricamente posible producir piezas de texto coherentes y adaptables, lo que lo convierte en un punto focal en la investigación de generación de texto.

Los métodos para lograr CTG incluyen indicaciones, ajuste fino y post-procesamiento de modelos de lenguaje existentes para crear modelos que se adapten mejor al CTG. El ajuste fino es un enfoque común, que a menudo requiere ajustes solo en partes del modelo. Otros métodos emplean aprendizaje por refuerzo para aprender de la retroalimentación sobre las características deseadas en el texto. Algunos intentos incluso implican entrenar nuevos modelos enfocados específicamente en satisfacer las necesidades de CTG. Con el creciente tamaño de estos modelos, se ha vuelto posible lograr CTG sin requerir ajustes extensos.

En este trabajo, nos enfocamos específicamente en la indicación y la ingeniería de representación ya que no implican reentrenar los modelos, lo que los hace más prácticos para la aplicación, especialmente dada la escala de los LLMs modernos.

#Transferencia de Estilo de Texto

El control suave también está relacionado con la transferencia de estilo de texto (TST), que busca modificar el estilo del texto mientras se mantiene su contenido subyacente. Cuando no hay datos paralelos en diferentes estilos disponibles, los métodos pueden implicar separar el contenido del estilo en el espacio de representación, seguido de técnicas generativas para crear nuevo texto con los estilos deseados. Otras estrategias implican extraer estructuras de oraciones y manipular sus marcadores de estilo para lograr la salida deseada.

TST se aplica ampliamente en varias tareas, incluyendo generación de diálogos personalizados, resumido estilístico y debiasing de texto en línea.

#Formulación del Problema

En esta sección, definimos formalmente la tarea de control suave en texto generado por LLM y presentamos el conjunto de datos de referencia que creamos para la evaluación.

#Definición de Control Suave

Dada una pregunta abierta, el control suave busca ajustar finamente la intensidad de una característica particular en el texto generado por los LLMs. Este control debe extenderse a través de un rango de valores, permitiendo modificaciones precisas que se alineen con necesidades o preferencias específicas.

Para cualquier consulta dada que admita muchas respuestas posibles, el control suave requiere especificar un atributo y proporcionar un valor de control que guiará al modelo para generar una respuesta adaptada. Idealmente, la intensidad observada del atributo en la respuesta debería coincidir con el valor de control previsto.

Nos enfocamos en tres aspectos principales al investigar el control suave:

1. Valor de Control: Idealmente, el valor de control debería ser un número real. Sin embargo, dado que puede haber muchas respuestas posibles que varían en intensidad, la evaluación puede volverse difícil. Para abordar esto, usamos 10 valores discretos (0-9) para imitar el control suave.

2. Medición de Intensidad: No hay un método estándar para medir la intensidad exacta de una característica específica en una respuesta dada, lo que presenta un desafío significativo para la evaluación.

3. Correlación de Intensidad: El vínculo entre el valor de control y la intensidad de la característica en una respuesta refleja qué tan bien un método y modelo pueden gestionar el control suave.

Para facilitar esta evaluación, proponemos un nuevo marco de evaluación automática basado en comparar pares de respuestas y evaluar la intensidad de las características.

#Construcción de Datos de Referencia

Para la tarea de control suave, la consulta, el atributo y el valor de control son componentes clave. Como se indicó, el valor de control se establece en 10 opciones discretas. A continuación, esbozamos el proceso de selección de las consultas y atributos utilizados para construir el conjunto de datos de referencia.

#Selección de Atributos

En aplicaciones comunes, los principales atributos del texto suelen incluir:

• Sentimiento: Esto se refiere al tono emocional del texto, como la ira o la felicidad.
• Estilo: Esto abarca aspectos de la escritura, siendo la formalidad y claridad dos elementos cruciales para una comunicación efectiva.
• Propiedad Lingüística: Esto refleja características estructurales del texto, donde la concisión es un aspecto significativo para la entrega eficiente de información.

Elegimos atributos prácticos para nuestra evaluación, etiquetándolos de manera adecuada para facilitar la referencia.

#Generación de Consultas

Para evaluar efectivamente el control suave, debemos asegurarnos de que las consultas seleccionadas puedan generar respuestas válidas de diversas maneras, particularmente cuando están restringidas por un atributo dado. Cada consulta debe ser capaz de elicitar al menos 10 respuestas diferentes, cada una con una intensidad variable del atributo especificado.

Para agilizar este proceso, utilizamos un modelo de lenguaje moderno (GPT-4-turbo) para generar las consultas, asegurando que puedan producir una variedad diversa de respuestas. Nuestro conjunto de datos construido incluye finalmente 1,500 oraciones de consulta que cubren cinco atributos distintos.

#Evaluando el Control Suave

Comenzamos introduciendo nuestro sistema de calificación automático y luego presentamos las métricas que hemos creado para evaluar el rendimiento del control suave.

#Sistema de Calificación

Para medir qué tan bien una oración expresa una característica específica, necesitamos un método automatizado. Utilizamos el sistema de calificación Elo, que ha sido efectivo en evaluaciones recientes.

Elo modela calificaciones para capturar la probabilidad de que una instancia sea preferida sobre otra, que en nuestro caso se traduce en comparar oraciones según qué tan fuertemente exhiben una cierta característica.

Calculamos calificaciones basadas en comparaciones por pares de oraciones, determinando la probabilidad de preferencia basada en las diferencias de calificación.

#Evaluación Humana del Sistema de Calificación

Validamos qué tan cerca están las calificaciones producidas por nuestro sistema de las opiniones humanas a través de estudios cualitativos y cuantitativos.

En el estudio cualitativo, agrupamos oraciones basadas en sus calificaciones calculadas y presentamos muestras para observar qué tan bien corresponden estas agrupaciones a diferentes niveles de intensidad.

En el estudio cuantitativo, tomamos pares aleatorios de oraciones con diferencias de calificación variadas y pedimos a los anotadores humanos que identificaran preferencias. Creamos gráficos que muestran el porcentaje de preferencias humanas contra la probabilidad de victoria teórica derivada del algoritmo Elo.

Los resultados demuestran una fuerte coincidencia entre las preferencias humanas y las calificaciones Elo, indicando la efectividad de nuestro sistema. Esta precisión no se mantiene para modelos más débiles, que tienden a juzgar mal las preferencias.

#Aceleración de los Cálculos de Elo

Nuestra investigación muestra que, para cualquier grupo de oraciones, usar GPT-4 como anotador por pares nos permite calcular de manera eficiente las calificaciones Elo. Normalmente, se necesitan comparaciones extensas por pares para estimar confiablemente las calificaciones, pero introducimos estrategias para acelerar este proceso.

Al establecer una "biblioteca" de oraciones seleccionadas, podemos comparar nuevas oraciones con esta biblioteca para determinar calificaciones sin necesidad de realizar numerosas comparaciones por pares.

Este método reduce significativamente el esfuerzo requerido para alcanzar calificaciones confiables para nuevas oraciones.

#Métricas de Evaluación

Evaluamos la calidad del control para una característica específica analizando varias preguntas condicionadas a diferentes valores de control. Proponemos tres métricas basadas en las oraciones generadas por el método y sus puntajes calculados por nuestro sistema.

1. Mean-MAE: Esto mide el error en las calificaciones de las oraciones basadas en los valores de control. Ayuda a cuantificar qué tan bien las oraciones generadas coinciden con el control óptimo.

2. Mean-STD: Esto evalúa la variación en las calificaciones de las oraciones a través de diferentes valores de control. Un método de control suave exitoso debería generar niveles de intensidad consistentes.

3. Relevancia: Esto mide qué tan bien las respuestas abordan las preguntas originales. Un enfoque perfecto de control suave no debería sacrificar la utilidad de la respuesta por mejorar las métricas de error.

#Configuración del Experimento

Realizamos evaluaciones en varios LLMs para evaluar sus capacidades de control suave para diferentes atributos. Aquí, presentamos los modelos, atributos y conjuntos de datos utilizados en nuestros experimentos.

#Modelos

Para nuestros experimentos, utilizamos tanto LLMs de código abierto como de código cerrado, incluyendo Mistral y LLaMA2, enfocándonos particularmente en aquellos que permiten acceso a parámetros internos.

#Atributos

Como se mencionó anteriormente, evaluamos varias características en nuestro trabajo, enfocándonos específicamente en atributos relacionados con el sentimiento, el estilo y la claridad.

#Conjunto de Datos

Utilizamos el conjunto de datos de referencia que creamos, que incluye 1,500 oraciones de consulta en las cinco áreas de atributo.

#Métricas

De acuerdo con nuestro marco de evaluación, basamos nuestra evaluación en la media-MAE, la desviación estándar y la relevancia.

#Resultados del Experimento

Presentamos los resultados de nuestras evaluaciones, comparando el rendimiento del control suave a través de diferentes modelos y métodos. Notablemente, GPT-4 supera consistentemente a otros modelos en todos los atributos, mostrando una media-MAE notablemente más baja, indicando una mejor consistencia entre los valores de control y las intensidades generadas.

Curiosamente, encontramos que los modelos más grandes no siempre conducen a un mejor control suave. Al probar la familia LLaMA, observamos que los aumentos en el tamaño del modelo se correlacionan con una disminución en la media-MAE en varios atributos.

Además, reconocemos que los métodos de indicación generan resultados comparables o mejores que la ingeniería de representación. Esto sugiere que la indicación puede ser preferible para aplicaciones prácticas, ya que no requiere acceso interno al modelo mientras aún logra un control efectivo.

#Especificidad de la Selección de Parámetros

Exploramos si los descriptores utilizados para ajustar las intensidades en la indicación son específicos del modelo o pueden aplicarse universalmente. Nuestros hallazgos indican que los descriptores deben adaptarse a cada modelo, ya que diferentes modelos pueden responder mejor a distintos descriptores de intensidad.

Comparar el éxito de cambiadores semánticos fijos contra descriptores seleccionados revela que estos últimos mejoran significativamente el rendimiento.

#Conclusiones y Trabajo Futuro

Este trabajo investiga la generación de texto controlable suavemente con LLMs. Desarrollamos un sistema de evaluación para evaluar métodos de control suave basados en diferentes intensidades de características. El sistema incorpora eficientemente calificaciones Elo para automatizar las evaluaciones.

A través de pruebas exhaustivas de dos métodos-indicaciones y ingeniería de representación-descubrimos que los modelos más grandes a veces pueden obstaculizar el rendimiento y que la indicación a menudo produce mejores resultados.

Mirando hacia adelante, reconocemos limitaciones en nuestro uso actual de LLMs para evaluaciones y sugerimos que trabajos futuros podrían investigar aspectos que requieran ajuste fino del modelo o explorar otros métodos de control suave.

Nuestro estudio está patrocinado por varias organizaciones y reconoce que los hallazgos reflejan las opiniones de los autores, no necesariamente las de ninguna entidad de financiamiento.

#Plantillas de Indicación

A continuación se presentan las plantillas utilizadas en nuestro estudio:

Plantilla de Generación de Preguntas: "Genera 10 prompts que se pueden responder con diferentes grados de ."

Plantilla de Anotación por Pares: "Para cada par de respuestas, identifica cuál respuesta expresa más . Escribe el número del par seguido de '1' si la primera respuesta es más , o '2' si la segunda respuesta es más . Formatea tu respuesta así: '1. 1', '2. 2', etc."

Plantilla de Anotación de Relevancia: "Dada la siguiente consulta y respuesta, por favor evalúa si la respuesta es relevante para la consulta. Responde con '1' si la respuesta es relevante, y '0' si no es relevante."

Plantilla de Indicación con Descripciones de Grado: "Por favor responde a queries[i] con un párrafo en un [estilo de tono] que es cambiador semántico. La respuesta debe tener tres oraciones."

Plantilla de Generación de Descripciones de Grado: "Describiendo niveles de en una escala de -9 a 10 usando frases."

Plantilla de Generación de Prompts de Estímulo: "Genera 10 prompts que puedan estimular ."

Plantillas de Candidatos para Cambiadores Semánticos

Análisis de Selección de Parámetros: "Consideramos diferentes conjuntos de (de 0 a 1) para el promedio ponderado de Mean-MAE y Mean-STD para calcular la métrica general."

Ejemplos de Datos Generados: Estos incluyen una variedad diversa de prompts y sus respuestas correspondientes basadas en varias emociones, estilos y niveles de detalle para demostrar el alcance completo de las capacidades de control suave.

Este artículo extenso encapsula claramente los hallazgos de la investigación y proporciona una visión concisa de los métodos, evaluaciones e implicaciones del control suave en la generación de texto utilizando LLMs.