Perspectivas sobre la toma de decisiones de los modelos de lenguaje

Los Modelos de Lenguaje Grande (LLMs) se están usando cada vez más en situaciones de la vida real. Es importante saber cómo estos modelos toman decisiones y qué conocimiento influye en esas decisiones. Una forma de capturar este conocimiento es mirando algo llamado Distribuciones Previas, que nos ayudan a entender las creencias que tiene un modelo antes de ver información específica. En este artículo, vamos a ver cómo los LLMs pueden ofrecer ideas sobre estas distribuciones previas a través de un método llamado Aprendizaje Iterado en contexto.

#La Importancia de Entender los LLMs

A medida que los LLMs se vuelven parte de varios campos como la salud, las finanzas y la ley, entender cómo toman decisiones es crucial. Por ejemplo, si se usa un modelo para estimar cuánto tiempo podría vivir alguien basado en cierta información, es esencial saber si el modelo solo usa los datos proporcionados o si se basa en conocimientos generales sobre las expectativas de vida humanas. Esta comprensión puede ayudar a asegurar que las decisiones tomadas por los LLMs no conduzcan a errores graves o sesgos.

#Explorando el Conocimiento de Fondo

Para investigar cómo los LLMs toman decisiones basadas en conocimiento previo, podemos usar una perspectiva bayesiana, un método que se usa a menudo en estadísticas. Los métodos bayesianos implican crear un espacio de creencias posibles (la distribución previa) y evaluar cómo ese conocimiento de fondo afecta las decisiones. Al aplicar una técnica llamada aprendizaje iterado, podemos obtener las distribuciones previas de los LLMs, como GPT-4.

#¿Qué es el Aprendizaje Iterado?

El aprendizaje iterado es un método que se ha utilizado en la ciencia cognitiva para estudiar cómo se transmite el conocimiento de una generación de aprendices a la siguiente. En este esquema, un aprendiz inicial observa un conjunto de datos, forma una hipótesis sobre esos datos y luego produce nuevos datos para el siguiente aprendiz. Los investigadores han mostrado que este proceso puede llevar a la aparición de características y comportamientos lingüísticos particulares.

Usando este concepto, podemos aplicar el aprendizaje iterado a los LLMs para descubrir las distribuciones previas que tienen. En términos simples, seguimos haciendo preguntas al modelo, obteniendo sus respuestas y usando esas respuestas para informar la siguiente pregunta. De esta manera, podemos aprender sobre las creencias implícitas del modelo.

#Validando el Método

Para asegurarnos de que este método funciona, lo hemos probado en áreas donde ya conocemos las distribuciones previas humanas, como estimar Relaciones Causales, proporciones y cantidades cotidianas. En estas pruebas, encontramos que las distribuciones previas generadas por GPT-4 coincidían con las distribuciones previas humanas establecidas. Esta alineación sugiere que los LLMs pueden capturar efectivamente creencias similares a las humanas al hacer juicios.

#Elicitando Distribuciones Previas en Diferentes Dominios

#Estimación de Fuerza Causal

Una de las áreas que revisamos involucró entender las relaciones causales. Por ejemplo, en un escenario donde dos factores (llamémoslos A y B) podrían causar un efecto (C), queríamos ver cómo GPT-4 estimaba la fuerza de estas relaciones causales. Al pedirle al modelo sus creencias sobre estos vínculos causales, encontramos que sus respuestas eran similares a las observadas en estudios humanos.

#Estimación de Proporciones

Otra área que exploramos fue la estimación de proporciones, donde le preguntamos al modelo que predijera cuántas veces podría ocurrir un cierto evento basado en datos pasados. Por ejemplo, si hubo 10 lanzamientos de moneda y queremos predecir cuántos caerían en cara en 100 lanzamientos, podemos usar las creencias previas del modelo para informar esta estimación. Las distribuciones producidas por GPT-4 fueron consistentes con las creencias previas humanas.

#Cantidades Cotidianas

También investigamos cómo los LLMs estiman cantidades cotidianas. Esto puede implicar predecir cuánto tiempo podría durar una película basada en sus ganancias actuales o cuánto tiempo necesita un pastel para hornearse basado en cuánto tiempo ha estado en el horno. Nuevamente, los resultados mostraron que GPT-4 tenía creencias similares a las de los humanos en estos escenarios.

#Probando Eventos Especulativos

Una vez que validamos nuestro método en áreas conocidas, enfocamos nuestra atención en eventos especulativos que no tienen distribuciones previas humanas establecidas. Por ejemplo, queríamos determinar cómo GPT-4 predice eventos como el desarrollo de IA sobrehumana, lograr emisiones de carbono cero y establecer una colonia en Marte.

Al utilizar nuestro enfoque de aprendizaje iterado, pudimos obtener ideas sobre las creencias del modelo acerca de estos eventos futuros sin depender de indicaciones directas, que a menudo dan resultados inciertos.

#Predicciones sobre IA Sobrehumana

Al probar las creencias previas de GPT-4 sobre IA sobrehumana, proporcionamos información sobre cuándo se podría lograr IA a nivel humano y preguntamos cuándo podría superar las capacidades humanas en general. La respuesta del modelo apuntó hacia principios de la década de 2040, alineándose de cerca con las previsiones de expertos.

#Predicciones sobre Emisiones de Carbono Cero

Luego, investigamos el momento en que se lograrían emisiones de carbono cero. Al proporcionar un punto de partida para la implementación de energías renovables, el modelo estimó que el objetivo podría alcanzarse alrededor de 2045, nuevamente coincidiendo con predicciones existentes.

#Predicciones sobre la Colonización de Marte

Por último, exploramos las creencias previas de GPT-4 sobre la colonización de Marte tras el establecimiento de una colonia en la Luna. El modelo sugirió que la colonización de Marte podría ocurrir alrededor de 2050, lo cual es consistente con los plazos más amplios discutidos en la literatura científica.

#Implicaciones de los Hallazgos

Los resultados de este estudio tienen varias implicaciones importantes sobre cómo podemos usar e interpretar los resultados de los LLMs como GPT-4.

#LLMs como Tecnologías Culturales

Los LLMs pueden verse como herramientas culturales que nos ayudan a navegar y entender la información generada por otros. Al aplicar métodos como el aprendizaje iterado, podemos recuperar con éxito las distribuciones previas humanas, lo que nos permite utilizar mejor los LLMs en diversas áreas de investigación sin necesidad de encuestas extensas o recolección de datos.

#Ciencia Automatizada con LLMs

Nuestros hallazgos también apoyan la idea de usar LLMs para generar y probar hipótesis científicas. Al entender las creencias implícitas codificadas en estos modelos, podemos interpretar sus resultados de manera más efectiva, lo que lleva a avances en la generación de conocimiento.

#Haciendo Inferencia Bayesiana con LLMs

Nuestro trabajo refuerza la noción de que se puede realizar inferencia bayesiana con LLMs como herramientas. Ya sea que los usemos para traducir problemas a formatos probabilísticos o para ejecutar protocolos de aprendizaje iterativo específicos, sus respuestas ofrecen ideas valiosas sobre las distribuciones previas.

#Limitaciones y Direcciones Futuras

Aunque hemos demostrado la efectividad de nuestro método, ciertas limitaciones permanecen. Por un lado, asumimos que los LLMs funcionan como agentes bayesianos aproximados y producen respuestas basadas en distribuciones posteriores. Se necesita más investigación para aclarar qué tan bien los LLMs pueden realmente codificar distribuciones previas aprendidas de textos humanos.

#Conclusión

En conclusión, este estudio ofrece un enfoque novedoso para entender los estilos de toma de decisiones de los LLMs al formalizar su conocimiento previo implícito. Al usar el aprendizaje iterado en contexto, podemos descubrir el conocimiento de fondo que guía las decisiones de GPT-4, abriendo el camino para interacciones más informadas y efectivas entre los sistemas de IA y los humanos. Este trabajo abre nuevas avenidas para futuras investigaciones tanto en el desarrollo de la IA como en sus aplicaciones en diversos campos.