Dynosaur: Innovando en la Ajuste de Instrucciones para Modelos de Lenguaje

El Ajuste de Instrucciones se ha vuelto importante para mejorar cómo los modelos de lenguaje grandes (LLMs) entienden y responden a las instrucciones. Los métodos actuales a menudo dependen de la anotación manual o de usar LLMs existentes para crear datos. Aunque estos métodos buscan proporcionar conjuntos de datos de ajuste de instrucciones De alta calidad, enfrentan desafíos, como no vincular las instrucciones con los conjuntos de datos ya anotados de manera efectiva.

#¿Qué es Dynosaur?

Dynosaur es un nuevo enfoque que se centra en crear automáticamente datos para el ajuste de instrucciones. Al usar conjuntos de datos existentes y sus Metadatos, Dynosaur puede identificar campos de datos relevantes y generar instrucciones adecuadas. Este método tiene varios beneficios, incluyendo costos más bajos para generar instrucciones, datos de alta calidad y la capacidad de seguir mejorando a medida que se dispone de nuevos datos.

#Ventajas de Dynosaur

#Rentable

Dynosaur reduce los costos asociados con la generación de datos de ajuste de instrucciones. Por ejemplo, generar 800,000 muestras usando GPT-3.5-turbo cuesta alrededor de $11.5, en comparación con unos $500 por conjuntos de datos más pequeños creados a través de otros métodos.

#Alta Calidad

Dynosaur también proporciona datos de alta calidad para el ajuste de instrucciones. Cuando se evaluaron modelos entrenados con Dynosaur, obtuvieron mejores resultados en tareas en comparación con modelos entrenados con conjuntos de datos más caros. Por ejemplo, los modelos T5-3B y LLAMA-7B afinados con Dynosaur mostraron mejoras significativas de rendimiento sobre otros modelos entrenados con varios conjuntos de datos.

#Mejora Continua

A medida que se lanzan nuevos conjuntos de datos anotados, Dynosaur puede adaptarse generando más datos de ajuste de instrucciones. La plataforma agrega un promedio de 143.6 nuevos conjuntos de datos diariamente, lo que permite a Dynosaur crecer y mejorar el rendimiento del modelo con el tiempo.

#Cómo Funciona Dynosaur

#Recolección de Metadatos

El primer paso para crear datos de Dynosaur implica recolectar metadatos de conjuntos de datos existentes. Los metadatos contienen información clave sobre cada conjunto de datos, incluyendo su nombre, descripción, campos de datos y anotaciones. Estos metadatos sirven como base para generar tareas relevantes.

#Generación de Datos de Ajuste de Instrucciones

Usando los metadatos recolectados, los LLMs generan múltiples tareas asociadas con cada conjunto de datos. Al entender los metadatos, el LLM puede crear instrucciones específicas y designar campos de entrada/salida al mismo tiempo. Por ejemplo, de un conjunto de datos con detalles de libros, el modelo podría generar instrucciones como "Predice el año en que se publica el libro basado en el título y los autores".

#Filtrado de Tareas Inválidas

Las tareas generadas por los LLMs pasan por un filtrado para garantizar su validez. Las tareas que no cumplen con ciertos criterios-como tener campos de datos inexistentes o solapamientos en los campos de entrada/salida-se eliminan del conjunto de datos final.

#Organización de los Datos

Una vez filtradas las tareas válidas, los datos de instrucciones se organizan en un formato que incluye la instrucción, campos de entrada y salida. Esta estructura facilita que los modelos utilicen los datos de manera efectiva durante el entrenamiento.

#Evaluación de Dynosaur

#Rendimiento en Tareas de Referencia

Dynosaur fue probado en varias tareas de referencia para evaluar su efectividad. Los modelos entrenados usando datos de Dynosaur superaron a aquellos entrenados con otros conjuntos de datos de ajuste de instrucciones en diversas evaluaciones. Por ejemplo, T5-3B y LLAMA-7B entrenados en Dynosaur mostraron mejores resultados en las tareas Super-NI y LongForm.

#Evaluación Humana

Además de las evaluaciones automatizadas, evaluadores humanos analizaron la calidad de las salidas generadas por modelos entrenados con Dynosaur. Los comentarios indicaron una preferencia por las salidas generadas con datos de Dynosaur sobre las producidas utilizando otros conjuntos de datos.

#Aprendizaje Continuo con Dynosaur

La naturaleza dinámica de Dynosaur también permite a los modelos aprender de manera continua. El concepto de aprendizaje continuo se centra en entrenar modelos en nuevas tareas sin olvidar las tareas aprendidas previamente. Esto es particularmente importante a medida que se dispone de más datos.

#Estrategias de Repetición

En el aprendizaje continuo, repetir tareas anteriores puede ayudar a los modelos a mantener el rendimiento en esas tareas mientras aprenden nuevas. Se pueden usar diferentes estrategias para seleccionar qué tareas repetir. Por ejemplo, las tareas pueden ser elegidas según cuán similares son a nuevas tareas. Los experimentos mostraron que usar representaciones de instrucción diversas para la repetición mejoró el rendimiento.

#Abordando Limitaciones

Aunque Dynosaur presenta un enfoque prometedor, existen algunas limitaciones. Actualmente se centra solo en conjuntos de datos en inglés, dejando los conjuntos de datos multilingües poco explorados. Además, aunque la calidad general de los datos de Dynosaur es alta, algunas entradas inválidas permanecen. El trabajo en curso tiene como objetivo abordar estos problemas y mejorar aún más la calidad de los datos.

#Conclusión

Dynosaur representa un avance significativo en el campo de la curaduría de datos para el ajuste de instrucciones. Al aprovechar conjuntos de datos existentes y sus metadatos, puede producir de manera eficiente datos de ajuste de instrucciones de alta calidad a un costo menor. La capacidad de crecer y adaptarse a nuevos datos lo convierte en una herramienta valiosa para mejorar el rendimiento de los modelos de lenguaje en la comprensión y seguimiento de instrucciones. A medida que el panorama de NLP continúa evolucionando, innovaciones como Dynosaur serán cruciales para dar forma al futuro del ajuste de instrucciones.