Simplificando el Conocimiento Complejo en Modelos de IA

Esta encuesta habla sobre una nueva y importante área de investigación llamada Destilación de Conocimiento Simbólico en Modelos de Lenguaje Grandes (LLMs). Los LLMs como GPT-3 y BERT han crecido en tamaño y complejidad. A medida que crecen, se vuelve vital usar su vasta cantidad de conocimiento de manera efectiva. El objetivo de esta encuesta es ver cómo podemos transformar el conocimiento complejo en estos modelos en una forma simbólica más simple. Esto es importante porque hace que los LLMs sean más fáciles de entender, más eficientes y útiles en diferentes aplicaciones.

Vamos a categorizar la investigación ya disponible según diferentes métodos y usos. La intención es mostrar cómo la destilación de conocimiento simbólico puede ayudar a mejorar la claridad y efectividad de modelos de IA más pequeños. También discutiremos los principales desafíos que enfrentan los investigadores, como mantener el conocimiento detallado mientras se hace más fácil de entender. Además, analizaremos diferentes métodos desarrollados hasta ahora en este campo, identificaremos brechas en la investigación actual y sugeriremos posibles oportunidades para trabajos futuros. Esta encuesta proporcionará una visión general amplia de la destilación de conocimiento simbólico en LLMs y resaltará su importancia para hacer que los sistemas de IA sean más accesibles y eficientes.

Hay un creciente interés en cómo el conocimiento simbólico puede mejorar la claridad, eficiencia y rango de usos de los LLMs, convirtiéndolos en herramientas mejores y más comprensibles. A pesar del reconocimiento de su importancia, todavía hay una falta significativa de investigación exhaustiva que examine de cerca este proceso de integración. La mayoría de los estudios existentes se centran en avances en LLMs o en el conocimiento que contienen, prestando menos atención a la destilación de conocimiento simbólico de los LLMs. Esta encuesta tiene como objetivo llenar este vacío proporcionando una revisión detallada del estado actual de la destilación de conocimiento simbólico en LLMs, enfatizando los métodos, desafíos y avances en esta área.

#¿Qué son los Modelos de Lenguaje Grandes?

Los Modelos de Lenguaje Grandes (LLMs) son un tema significativo en inteligencia artificial (IA), con grandes avances que se producen con frecuencia. Los LLMs son entrenados con vastas cantidades de datos, incluyendo sitios web, artículos de investigación y libros. Encapsulan conocimiento dentro de numerosos parámetros y pueden servir como bases de conocimiento de donde se puede extraer información para diversos propósitos. Estos propósitos pueden incluir el ajuste fino de otros modelos para tareas específicas, validar acciones o generar conjuntos de datos más grandes y precisos. Sin embargo, el conocimiento incrustado en los LLMs no es accesible directamente y requiere una extracción cuidadosa y una utilización eficiente para producir resultados efectivos.

El conocimiento dentro de los LLMs, almacenado en los pesos de sus parámetros, puede ser convertido en una forma simbólica más interpretable a través del proceso de destilación de conocimiento simbólico. El principal desafío aquí es traducir el conocimiento implícito y disperso codificado en las redes neuronales de los LLMs en representaciones simbólicas claras y comprensibles. Esta transformación es esencial por varias razones: mejorar la transparencia e interpretabilidad de los modelos, facilitar la transferencia de conocimiento a modelos más pequeños y eficientes, y permitir mejores sistemas de IA explicables. Al cambiar el conocimiento a una forma simbólica, podemos entender las razones detrás de las decisiones del modelo, lo cual es importante en aplicaciones donde conocer el 'por qué' detrás de predicciones o recomendaciones es tan crucial como los resultados mismos.

En este documento, presentamos un marco detallado dedicado a la destilación de conocimiento simbólico de los LLMs, comenzando con una visión histórica de la destilación de conocimiento simbólico y su desarrollo hasta su estado actual. Luego, analizamos varios métodos tradicionales de destilación de conocimiento y los comparamos con enfoques de destilación de conocimiento simbólico. También exploramos arquitecturas de LLM y sus mecanismos de entrenamiento y ajuste fino. Clasificamos las técnicas de destilación de conocimiento simbólico en tres tipos únicos: Directa, Multinivel y Distilación a través del Aprendizaje por Refuerzo. También compilamos artículos de investigación centrados en conocimiento simbólico y aquellos que abordan específicamente la destilación de conocimiento simbólico de LLMs.

#El Crecimiento de la Tecnología del Lenguaje

En las últimas décadas, la tecnología del lenguaje ha progresado significativamente. La Prueba de Turing, realizada en 1950, fue uno de los primeros hitos en este campo. Sentó las bases para la idea de que las máquinas pueden actuar de manera similar a los humanos y mostrar inteligencia. En el mismo año, Shannon introdujo el concepto de entropía, ayudando a predecir la siguiente letra basada en el texto previamente conocido. En 1964, apareció ELIZA como un programa de procesamiento de lenguaje natural (NLP) diseñado para imitar el estilo conversacional de un terapeuta. SHRDLU, introducido en 1968, fue uno de los primeros sistemas interactivos de comprensión del lenguaje natural que podía entender y responder a comandos en lenguaje natural en un mundo simplificado de objetos.

Los años siguientes vieron el auge de Modelos de Lenguaje Estadísticos (SLMs), con obras notables como "Introducción del Enfoque Estocástico para el Análisis Sintáctico" en 1986 y "Enfoque Estadístico para la Traducción Automática" en 1990. Sin embargo, problemas como la fragilidad a través de dominios y suposiciones de independencia falsa llevaron al declive de los SLMs.

La introducción de Memoria a Largo y Corto Plazo (LSTM) en 1997 marcó el comienzo de la era del Modelo de Lenguaje Neuronal (NLM). Estos modelos mejoraron el procesamiento del lenguaje al capturar dependencias a largo plazo y gestionar con éxito el problema del desvanecimiento del gradiente. En 2001, se introdujo el primer modelo de lenguaje neuronal, entrenado utilizando el algoritmo de Descenso de Gradiente Estocástico (SGD), que resultó ser computacionalmente eficiente y escalable. A medida que las redes neuronales crecieron no solo en funcionalidad, sino también en tamaño, se propuso la compresión de modelos en 2006. Las técnicas de compresión de modelos se dividieron en cuatro enfoques: poda de parámetros, factorización de bajo rango, convoluciones compactas y destilación de conocimiento.

En 2011, IBM Watson avanzó en el procesamiento del lenguaje al ganar un juego de Jeopardy contra competidores humanos. En 2013, se introdujo el algoritmo Word2Vec, que permite a las computadoras entender el contexto de las palabras y sus relaciones. Al año siguiente, se presentó seq2seq, que utiliza un codificador para representar una secuencia de entrada y un decodificador para generar la secuencia de salida. GloVe, introducido en el mismo año, utilizó una matriz de coocurrencia para capturar relaciones entre palabras en un corpus.

La destilación de conocimiento, una técnica de compresión de modelos, se introdujo en 2015 para transferir conocimiento de un modelo maestro más grande a un modelo estudiante más pequeño. Ese mismo año, se propuso FitNets para agregar un término extra a la pérdida de destilación de conocimiento. En 2016, un estudio utilizó mapas de atención como pistas, comparando el error cuadrático medio entre los mapas de atención de los modelos maestro y estudiante. En el mismo año, se introdujo SQuAD, estableciendo un conjunto de datos de referencia para evaluar la comprensión lectora de máquinas.

En 2017, se presentó el modelo Transformer, que permitió el desarrollo de modelos de lenguaje avanzados capaces de aprender relaciones entre palabras en una oración a través de la auto-atención. El año siguiente vio varias nuevas enfoques que proporcionaron pistas a través de diferentes medios, incluyendo matrices de Gram.

En 2018, se introdujo ELMo, que utiliza diferentes representaciones para la misma palabra en varios contextos. Además, el Codificador de Oraciones Universal avanzó aún más el procesamiento del lenguaje al proporcionar representaciones de oraciones que podían manejar múltiples idiomas.

La Evaluación General de Comprensión del Lenguaje (GLUE), un marco de evaluación estándar para comparar diferentes modelos de lenguaje, se introdujo junto con BERT y GPT-1 en 2018, marcando el comienzo de la era de los Modelos de Lenguaje Preentrenados (PLM). En 2019, GPT-2 se convirtió en el primer modelo de lenguaje en alcanzar mil millones de parámetros, seguido por T5, el primer modelo con 10 mil millones de parámetros. Investigaciones publicadas en 2019 notaron que los métodos existentes de extracción de pistas podrían no ser óptimos debido a la pérdida de información de la transformación ReLU. Para abordar esto, se introdujo una función de activación modificada llamada marginReLU. Estudios de 2020 utilizaron diferentes métodos para permitir que modelos estudiantes aprendieran de representaciones de maestros.

En 2020, Google Shard (GShard) se convirtió en el primer modelo de lenguaje en alcanzar 100 mil millones de parámetros, y en 2021, el Modelo de Lenguaje Generalista (GLaM) llegó a la escala de un billón de parámetros. Ese año se introdujo el concepto de destilación de conocimiento simbólico, permitiendo que modelos más pequeños aprendieran de modelos más grandes de manera simbólica. Desde entonces, la destilación de conocimiento simbólico se ha aplicado en varias áreas como la resumición de oraciones sin referencia y la adquisición de conocimiento comparativo. Las leyes de escalado para modelos de lenguaje neuronal muestran que el rendimiento mejora con aumentos en el tamaño del modelo y del conjunto de datos, siguiendo una relación predecible.

Las grandes empresas de tecnología están invirtiendo fuertemente en desarrollar sus propios LLMs debido a su inmenso potencial en industrias como la salud, las finanzas y el servicio al cliente. Dado el rápido avance en este sector, hay una necesidad urgente de guiar la IA hacia caminos seguros y responsables.

#Destilación de Conocimiento Explicada

La destilación de conocimiento es una técnica utilizada para transferir conocimiento de un modelo más grande y complejo (maestro) a un modelo más pequeño y simple (estudiante), con el objetivo de retener gran parte del rendimiento del modelo maestro. Este proceso es crucial cuando los recursos computacionales son limitados o cuando son necesarios modelos ligeros. Hay diferentes tipos de técnicas tradicionales de destilación de conocimiento: basadas en respuestas, basadas en características, basadas en relaciones y una destilación simbólica moderna.

#Destilación de Conocimiento Basada en Respuestas

Este enfoque implica transferir conocimiento de la capa de salida final del modelo maestro al modelo estudiante. Su objetivo es imitar las predicciones finales del maestro. El método es sencillo y ha mostrado efectividad en varias tareas. Una aplicación crítica de la destilación de conocimiento basada en respuestas es en la clasificación de imágenes, donde los "objetivos suaves" asignados por el modelo maestro juegan un papel crucial.

#Destilación de Conocimiento Basada en Características

La destilación basada en características depende de que las redes neuronales aprendan representaciones jerárquicas de características. A diferencia de la destilación basada en respuestas, que se centra en las salidas de la capa final, este método utiliza salidas de capas intermedias para guiar el modelo estudiante. Este enfoque es particularmente beneficioso para entrenar modelos más profundos y ofrece un conjunto más rico de señales de entrenamiento.

#Destilación de Conocimiento Basada en Relaciones

La destilación basada en relaciones va más allá de los otros métodos al examinar las relaciones entre varias capas o muestras de datos en el modelo maestro. Este método ofrece una forma más matizada de transferencia de conocimiento, centrándose en interacciones y correlaciones dentro de los mapas de características del modelo.

#Destilación de Conocimiento Simbólico

En contraste con métodos anteriores, la destilación de conocimiento simbólico se enfoca en transferir conocimiento a un formato simbólico, que puede incluir reglas y lógica. Esta técnica integra conocimiento estructurado con modelos de aprendizaje automático para mejorar el rendimiento y la claridad. Su fortaleza radica en alinearse con los métodos de razonamiento humano, fomentando así una mejor comprensión y confianza.

La destilación de conocimiento simbólico implica un proceso de extracción de conocimiento de un modelo complejo y conversión en una forma simbólica más simple. Esta transformación típicamente incluye varios pasos definidos:

1. Entrenamiento del Modelo Maestro: Se entrena un modelo complejo (maestro) para lograr un alto rendimiento en un conjunto de datos.

2. Extracción de Conocimiento: Se derivan conocimientos del modelo maestro mediante diferentes métodos, incluyendo el análisis de patrones de activación de neuronas o empleando técnicas para evaluar la importancia de las entradas.

3. Representación Simbólica: El conocimiento recopilado se traduce en un formato simbólico, como árboles de decisión o reglas lógicas.

4. Entrenamiento del Modelo Estudiante: Se entrena el modelo estudiante para imitar la representación simbólica creada, asegurando un proceso de toma de decisiones claro.

5. Evaluación y Refinamiento: Tras el entrenamiento, se evalúa el rendimiento del modelo estudiante, lo que lleva a ajustes necesarios para mejorar la precisión y claridad.

#Entendiendo los Modelos de Lenguaje Grandes

Los LLMs son esenciales en tareas de lenguaje y han sido temas candentes en los últimos años. Crean numerosas oportunidades pero también generan preocupaciones sobre su uso. En esta sección, nos centraremos en la arquitectura de los LLMs y el proceso de entrenamiento involucrado.

#Arquitectura Transformer

La arquitectura transformer forma la base de todos los LLMs. Sus características, como el cálculo paralelo y los mecanismos de atención, reducen la dependencia de características elaboradas manualmente mientras mejoran el rendimiento en tareas de NLP. Todos los LLMs existentes derivan directa o indirectamente de esta arquitectura.

Los LLMs generalmente caen en las siguientes arquitecturas:

• Arquitectura Encoder-Decoder: Esto implica transformar la entrada en un vector de longitud fija y luego usar esa representación para crear una secuencia de salida. Consiste en dos conjuntos de bloques transformer: un codificador que procesa la entrada y un decodificador que genera la salida.

• Arquitectura de Decodificador Causal: Este es un tipo de arquitectura solo de decodificador utilizada en modelado de lenguaje, donde los tokens de entrada y salida se procesan de manera similar a través del decodificador. Cada token de entrada solo puede enfocarse en tokens pasados.

• Arquitectura de Decodificador de Prefijo: Esta arquitectura permite atención bidireccional sobre los tokens de prefijo mientras usa atención unidireccional solo en los tokens generados. Puede incluir información bidireccional en el proceso de decodificación.

#Proceso de Entrenamiento de Modelos de Lenguaje Grandes

El proceso de entrenamiento para LLMs consta de dos fases principales:

1. Pre-entrenamiento: Esta fase implica entrenar en extensos conjuntos de datos de texto no etiquetados para aprender patrones generales del lenguaje. Se centra en la recopilación de datos, preprocesamiento y tareas de entrenamiento.

2. Ajuste fino: Esta fase adapta los LLM preentrenados a dominios o tareas específicas utilizando ejemplos etiquetados o aprendizaje por refuerzo. Implica dos estrategias principales: ajuste de instrucciones y ajuste de alineación, que buscan refinar las respuestas del modelo.

#Procesos de Destilación de Conocimiento Simbólico

El objetivo de la destilación de conocimiento simbólico de los LLMs es transformar el extenso conocimiento en LLMs en formas más interpretables y eficientes. Este proceso implica cambiar el conocimiento complejo dentro de modelos como GPT-3 en representaciones simbólicas o basadas en reglas.

Varios enfoques para la destilación de conocimiento simbólico pueden ser categorizados de la siguiente manera:

#Destilación Directa

Este método comienza con la construcción de un prompt específico que alienta a los LLMs a generar salidas que encapsulen entendimiento común o factual. La efectividad de este paso depende de crear prompts claros y ricos en contexto. La respuesta del modelo se convierte en una compleja interacción de patrones aprendidos y comprensión lingüística. Este texto se analiza para extraer conocimiento en varias formas.

#Destilación Multinivel

Este enfoque refina iterativamente la transferencia de conocimiento de un modelo maestro más grande a un modelo estudiante más pequeño. El modelo maestro genera una base de conocimiento inicial, que se filtra por calidad. Luego, el modelo estudiante se entrena en este conjunto de datos, generando nuevo conocimiento que se filtra nuevamente. Este proceso iterativo busca mejorar la calidad y la brevedad del conocimiento destilado.

#Destilación Usando Aprendizaje por Refuerzo

Este enfoque mejora las políticas de LLM a través de un proceso de dos pasos de generación y filtrado de datos. El primer paso implica usar la política del LLM actual para producir predicciones de salida para contextos dados, seguido de clasificar y filtrar estas salidas usando un modelo de recompensa aprendido entrenado en preferencias humanas. Esto crea un bucle de retroalimentación que refina continuamente la política del modelo hacia las preferencias humanas.

#Trabajos Relacionados en Destilación de Conocimiento Simbólico

Se ha hecho mucha investigación para posicionar los LLMs como bases de conocimiento. Si bien hay numerosos esfuerzos de investigación destinados a analizar el conocimiento contenido dentro de los LLMs, el enfoque en destilar este conocimiento en forma simbólica ha sido insuficientemente explorado.

#Base de Conocimiento de LLM

Los LLMs funcionan bien como bases de conocimiento para respuestas a preguntas de dominio abierto. Adquieren rápidamente conocimiento lingüístico temprano en la fase de preentrenamiento, pero la integración de conocimiento factual es más lenta y sensible a los datos de entrenamiento.

#Consistencia del Conocimiento en Modelos de Lenguaje

Los estudios revelan una preocupante inconsistencia en los modelos de lenguaje al responder a consultas parafraseadas. Este problema destaca las dificultades que enfrentan estos modelos al procesar hechos negados.

#Edición de Conocimiento en Modelos de Lenguaje

La edición de conocimiento dentro de los LLMs se ha convertido en un área de investigación significativa. Se han propuesto varios enfoques innovadores para abordar este desafío.

#Razonamiento con Conocimiento en Modelos de Lenguaje

Las habilidades de razonamiento de los LLMs han sido exploradas significativamente, con muchos estudios centrándose en su capacidad para aprender varios tipos de reglas y responder a desafíos lógicos.

#Interpretando Conocimiento en Modelos de Lenguaje

Los investigadores han explorado diferentes ángulos para interpretar el conocimiento codificado en LLMs, buscando una mejor comprensión de cómo estos modelos capturan y procesan información lingüística.

#Hallazgos Clave y Lecciones Aprendidas

A través de la exploración de la destilación de conocimiento simbólico, han surgido varios hallazgos y lecciones:

• Eficiencia: La destilación de conocimiento simbólico mejora la eficiencia de los LLMs al crear versiones más pequeñas y manejables sin una pérdida significativa de rendimiento.

• Razonamiento Común: La transición hacia un paradigma de 'de máquina a corpus a máquina' marca notables avances en el razonamiento común.

• Generación de Datos: Los LLMs demuestran potencial para generar conjuntos de datos de alta calidad y diversos que son beneficiosos para desarrollar modelos robustos.

• Aplicaciones Inter-Dominios: Las aplicaciones de la destilación de conocimiento simbólico se extienden más allá de las tareas de lenguaje hacia áreas como el razonamiento visual.

• Ajuste de Instrucciones: Las técnicas para el ajuste de instrucciones y generación representan un gran paso hacia la creación de sistemas de IA intuitivos.

#Desafíos y Oportunidades

A pesar de los avances, persisten numerosos desafíos en el campo de la destilación de conocimiento simbólico, incluyendo asegurar la calidad de los datos, equilibrar la automatización y la supervisión humana, desarrollar modelos compactos sin pérdida de rendimiento, ajuste efectivo de instrucciones y adaptabilidad en modelos destilados.

Abordar estos desafíos ofrece oportunidades para más investigaciones e innovación, con el objetivo final de realizar todo el potencial de la destilación de conocimiento simbólico en aplicaciones prácticas.