Avances en métricas de poda para modelos de lenguaje grandes

Los Modelos de Lenguaje Grande (LLMs) han avanzado un montón en el procesamiento del lenguaje natural (NLP). Sin embargo, estos modelos tienen un gran desafío: su tamaño hace que sea difícil implementarlos. La poda es una técnica común que se usa para reducir el tamaño del modelo eliminando pesos innecesarios.

Muchos métodos de poda necesitan reentrenamiento, lo que puede consumir mucho tiempo y recursos. Para solucionar esto, algunos métodos recientes han desarrollado nuevas métricas para la poda que no requieren reentrenamiento. Aun así, estos métodos suelen necesitar la opinión de expertos y implican mucho ensayo y error. Este artículo habla de un marco automático para buscar mejores métricas de poda usando Programación Genética.

#El desafío de los Modelos de Lenguaje Grande

Aunque los LLMs son poderosos, su tamaño plantea desafíos para su implementación. Por ejemplo, GPT-3, con sus 175 mil millones de parámetros, demanda recursos computacionales enormes. Para abordar estos desafíos, se han desarrollado varias técnicas de compresión de modelos, incluyendo cuantización de modelos, esparcidad y destilación de conocimiento.

Entre estas, la esparcidad del modelo ha surgido como una solución prometedora. Implica identificar y eliminar elementos innecesarios en las matrices de peso. Sin embargo, muchos métodos existentes requieren entrenar desde cero o un ajuste fino extenso, lo que los hace poco prácticos para modelos grandes.

#Poda Post-Entrenamiento: Un enfoque práctico

Dado el gran volumen de datos y los tamaños de modelos enormes, la poda post-entrenamiento ha ganado popularidad. Este método es atractivo porque requiere pocos recursos, ofreciendo una forma económica de optimizar los LLMs. Estudios recientes han demostrado que la poda post-entrenamiento puede simplificar mucho el proceso de poda, haciendo que los LLMs sean más accesibles.

Algunos ejemplos de métodos de poda post-entrenamiento incluyen SparseGPT y Wanda. SparseGPT elimina pesos basándose en su importancia, mientras que Wanda simplifica el proceso evitando la necesidad de reentrenamiento o actualizaciones de peso. No obstante, a pesar de sus ventajas, los métodos existentes enfrentan desafíos.

1. Dependencia humana: Muchos métodos dependen del conocimiento experto, lo que lleva a mucho ensayo y error.
2. Sensibilidad al formato: Las métricas de poda existentes son sensibles a su formato, requiriendo enfoques estrictos para la experimentación.

Para abordar estos desafíos, surgen dos preguntas clave:

1. ¿Cómo podemos crear métricas de poda completas que incorporen las fortalezas de las existentes?
2. ¿Cómo podemos identificar la mejor métrica de poda específicamente para Modelos de Lenguaje Grande?

#Buscando mejores métricas de poda

Para responder estas preguntas, se creó un espacio de búsqueda completo que incorpora métricas de poda existentes. Esto implicó revisar las métricas actuales y descomponer su estructura para identificar entradas y operaciones comunes. Las entradas incluyen peso, gradiente y activación, mientras que las operaciones se pueden clasificar como unarias o binarias.

Inspirados en la Regresión Simbólica (SR), las métricas de poda pueden representarse como árboles de expresión. Este documento propone un marco usando Programación Genética para producir nuevas métricas simbólicas de poda.

#Marco de Programación Genética

El marco utiliza programación genética para buscar métricas de poda óptimas. Este proceso involucra crear una población de árboles simbólicos que representan métricas potenciales. Cada árbol consiste en nodos terminales (representando variables) y nodos internos (representando operaciones matemáticas).

Los pasos clave en el marco incluyen:

1. Inicialización de la población: La población inicial consiste en árboles simbólicos de diferentes profundidades.
2. Selección: Se seleccionan dos árboles padres de los candidatos con mejor rendimiento.
3. Cruzamiento: Se intercambian subárboles de los padres para crear descendientes.
4. Mutación: Se hacen cambios aleatorios en los descendientes para introducir diversidad.
5. Evaluación: Cada nueva métrica se evalúa en función de su adecuación usando puntuaciones de perplejidad.

Este ciclo continúa hasta que se descubre una métrica de poda satisfactoria.

#Estrategia de Simplificación de Operaciones Opuestas

Durante la búsqueda, se notó que algunas métricas contenían operaciones opuestas que añaden complejidad innecesaria. Por lo tanto, se introdujo la estrategia de Simplificación de Operaciones Opuestas (OOS) para agilizar el espacio de búsqueda. Este método se centra en identificar y eliminar patrones opuestos, lo que mejora la eficiencia en el descubrimiento de nuevas métricas.

#Evaluando el marco

Las nuevas métricas de poda se probaron en los modelos LLaMA para evaluar su efectividad. Los resultados mostraron que estas métricas recién descubiertas funcionaron mejor que los métodos de última generación existentes tanto en Modelado de lenguaje como en tareas de cero disparo.

#Modelado de Lenguaje

El modelado de lenguaje es esencial para entender qué tan bien un modelo puede predecir la siguiente palabra en una secuencia basándose en las palabras anteriores. Los modelos se evaluaron en el conjunto de datos WikiText2 para medir su perplejidad.

Los hallazgos revelan que las nuevas métricas de poda logran una perplejidad significativamente más baja que los métodos anteriores. Notablemente, el rendimiento mejora a medida que aumenta el tamaño del modelo, lo que indica que las métricas propuestas son especialmente beneficiosas para modelos más grandes.

#Tareas de Cero Disparo

Además del modelado de lenguaje, también se evaluó el rendimiento de los modelos en varias tareas de cero disparo. Estas tareas evalúan la capacidad del modelo para generalizar su conocimiento a nuevas situaciones sin entrenamiento específico. Las métricas recién desarrolladas nuevamente demostraron un rendimiento más fuerte en comparación con los métodos existentes.

#Aprendizaje en Contexto

El aprendizaje en contexto es crucial para evaluar la adaptabilidad y las habilidades de razonamiento de un modelo. El marco se probó en el conjunto de datos GSM8K, que incluye problemas de matemáticas desafiantes. Los resultados mostraron que el nuevo enfoque de poda superó significativamente los métodos anteriores, destacando su efectividad en escenarios que requieren razonamiento y comprensión.

#Robustez y Generalización

Se llevaron a cabo una serie de pruebas para evaluar la robustez de las métricas propuestas en varios entornos. Las métricas mostraron un rendimiento consistente en diferentes condiciones de inicialización y tamaños de modelo. Esta estabilidad refuerza la fiabilidad de la nueva estrategia de poda.

Además, el marco se aplicó a otras familias de LLM más allá de LLaMA, demostrando su versatilidad y efectividad en diversos modelos.

#Conclusión

El marco propuesto ofrece un enfoque novedoso para descubrir métricas de poda para Modelos de Lenguaje Grandes. Al aprovechar la programación genética y la estrategia de Simplificación de Operaciones Opuestas, el marco mejora la eficiencia de la poda mientras mantiene el rendimiento del modelo. Los resultados sugieren que este método supera las técnicas actuales de última generación en términos de perplejidad y rendimiento en cero disparo, mostrando su potencial para aplicaciones prácticas en la implementación de modelos de lenguaje grandes.

En resumen, este trabajo representa un paso significativo adelante en la optimización de modelos de lenguaje grandes y en hacerlos más accesibles para diversas aplicaciones. El trabajo futuro se centrará en ampliar las capacidades del marco para mejorar aún más el rendimiento del modelo mientras se sigue facilitando la implementación de modelos de lenguaje grandes.