Examinando el Prompting de Cadena de Pensamientos en Modelos de Lenguaje

El prompting de cadena de pensamiento (CoT) es un método que ayuda a los modelos de lenguaje a pensar paso a paso al responder preguntas. Este enfoque puede ser especialmente útil para problemas complejos, como las matemáticas. Por ejemplo, añadiendo una simple instrucción como "Pensemos paso a paso" al hacer preguntas de matemáticas, un modelo conocido como GPT-3 mejoró su precisión significativamente, pasando del 17.7% al 78.7% en una prueba específica de matemáticas.

Esto plantea una pregunta: ¿todavía funciona este método con los modelos más recientes, como ChatGPT?

Sorprendentemente, la respuesta es mixta. En algunos casos, ChatGPT no se beneficia del prompting CoT para preguntas Aritméticas. Puede dar buenas respuestas por sí solo e incluso genera razonamientos paso a paso sin necesidad de instrucciones adicionales. Por otro lado, para diferentes tipos de preguntas, el prompting CoT todavía puede ser útil.

#El Desafío de Probar la Efectividad

Determinar la efectividad del prompting CoT en ChatGPT no es tan sencillo. Dado que las versiones más nuevas de los modelos de lenguaje se entrenan de manera diferente mediante la afinación de instrucciones (IFT), pueden tener un desempeño distinto en comparación con los modelos anteriores. ChatGPT se creó entrenando un montón de tareas e instrucciones, lo que significa que podría incluir ya el proceso de pensamiento sugerido por CoT en su entrenamiento.

Alguna investigación encontró que cuando ChatGPT fue probado en tareas de razonamiento aritmético sin ninguna instrucción, aún producía buenas respuestas y mostraba incluso sus pasos de razonamiento. En cambio, cuando los investigadores aplicaron instrucciones de CoT, no mejoraron el rendimiento e incluso lo empeoraron en algunos casos.

Esto lleva a la teoría de que ChatGPT ha aprendido a seguir la instrucción de CoT por sí mismo debido a la forma en que fue entrenado. Esto podría presentar un riesgo de que esté sesgado hacia las instrucciones específicas con las que fue entrenado, llevando a una situación donde el modelo no se adapta bien a nuevas o diferentes instrucciones.

#Observaciones de los Experimentos

En experimentos comparando varias estrategias de aprendizaje cero entre GPT-3 y ChatGPT, los investigadores notaron diferencias notables. GPT-3 generalmente se beneficiaba del prompting CoT en la mayoría de las tareas. Sin embargo, ChatGPT funcionaba mejor sin instrucciones explícitas en muchos casos, especialmente en tareas de razonamiento aritmético.

1. Cero-Shot con Palabras Clave: Aquí, una pregunta sencilla es seguida por palabras clave para guiar la respuesta.
2. Cero-Shot sin Instrucción: Se le hace una pregunta al modelo sin ningún prompt, y luego su respuesta se usa para un segundo prompt con palabras clave.
3. Cero-Shot con Instrucción CoT: Similar al segundo enfoque, pero esta vez se incluye la instrucción de pensar paso a paso.

Para pruebas aritméticas como MultiArith y GSM8K, ChatGPT a menudo tuvo un mejor rendimiento sin que se le dijera que pensara paso a paso. Esto es diferente a GPT-3, que necesitaba constantemente el prompting CoT para mejorar sus respuestas.

#¿Por Qué Sucede Esto?

Este comportamiento puede surgir del entrenamiento de ChatGPT. Posiblemente memorizó cómo pensar problemas como los aritméticos durante su fase de entrenamiento. Como resultado, puede parecerse a un prompt que le dice que piense paso a paso incluso cuando no hay tal instrucción presente. El rendimiento de ChatGPT sin instrucciones sugiere una fuerte posibilidad de que ha sido entrenado de una manera que le permite resolver problemas aritméticos de forma natural.

Sin embargo, este tipo de memorización también puede tener desventajas. ChatGPT podría tener dificultades si se le pide seguir nuevas instrucciones o resolver problemas fuera de lo que aprendió durante su entrenamiento. Esta situación plantea la preocupación de que puede estar sesgado hacia las tareas e instrucciones que ha memorizado, haciéndolo menos flexible o generalizable a nuevos tipos de tareas.

#Preocupaciones sobre la Fuga de Datos

Otro punto de preocupación es la posible fuga de información de los datos de entrenamiento de ChatGPT. La forma en que se entrenó el modelo podría permitir a alguien inferir detalles sobre su conjunto de datos de entrenamiento solo preguntando ciertas cosas. Si los investigadores analizan cómo responde un modelo a prompts específicos, podrían descubrir qué instrucciones se incluyeron en su conjunto de entrenamiento.

Esto es diferente a cómo operaban los modelos anteriores, donde era más difícil determinar cómo se entrenaron simplemente basándose en sus respuestas. El miedo es que, dado que el conjunto de datos es bastante grande, poder inferir detalles sobre él basándose en las salidas podría llevar a problemas de privacidad o preocupaciones sobre qué tan robusto es realmente el modelo.

#Evaluando Capacidades de Razonamiento

Para entender mejor las capacidades de razonamiento de ChatGPT, los investigadores miraron varios tipos de tareas de razonamiento, como aritmética, sentido común y Razonamiento Simbólico. Esto es lo que encontraron:

• ChatGPT a menudo producía buenos pasos de razonamiento de forma espontánea, incluso sin instrucción en tareas aritméticas.
• En contraste, añadir instrucciones de CoT a preguntas sobre razonamiento de sentido común no mejoró la precisión y a veces la empeoró.
• Curiosamente, en otras tareas, como el razonamiento simbólico, mostró patrones similares a GPT-3, donde el prompting CoT mejoró el rendimiento.

Estos hallazgos sugieren que la efectividad de las instrucciones de CoT depende mucho del tipo de tarea. Esta variabilidad plantea preguntas interesantes sobre la naturaleza del aprendizaje y la importancia de enfoques de entrenamiento como el IFT.

#Implicaciones Futuras

A medida que los modelos de lenguaje como ChatGPT evolucionan, las diferencias en cómo procesan instrucciones y resuelven problemas requieren más investigación. Quedan preguntas sobre si estos modelos más nuevos pueden adaptarse a nuevas tareas e instrucciones si tienen un conjunto memorizado de formas de responder.

Entender el equilibrio entre seguir instrucciones y el razonamiento espontáneo ayudará a refinar cómo se construyen y entrenan los modelos futuros. Hay una necesidad de estrategias claras que permitan a los modelos generalizar mejor a varias tareas sin sesgarse hacia instrucciones memorizadas.

En conclusión, aunque el prompting CoT ha demostrado promesa en mejorar las capacidades de razonamiento en algunos modelos de lenguaje, su efectividad puede no ser universal. Los métodos de entrenamiento únicos empleados en modelos más nuevos como ChatGPT revelan tanto ventajas como limitaciones, sugiriendo que se requiere una investigación continua para desbloquear todo el potencial de la IA en razonamiento y resolución de problemas.