Evaluando el No Determinismo en Modelos de Lenguaje Grandes

Los modelos de lenguaje grandes (LLMs), como los que se usan en chatbots y otras aplicaciones de IA, generan diferentes resultados con la misma entrada debido a una característica llamada No determinismo. Aunque muchos estudios evalúan qué tan bien funcionan estos modelos al ver una sola salida por cada entrada, este método no captura la verdadera variabilidad de su rendimiento en situaciones de la vida real. Este artículo habla de la importancia de considerar el no determinismo al evaluar cuán bien funcionan los LLMs y presenta hallazgos sobre cómo diferentes estrategias de decodificación impactan su rendimiento.

#El Problema con las Evaluaciones Actuales

La mayoría de las evaluaciones de LLMs se centran en una salida por ejemplo, lo que no da una imagen completa de cómo se comportan estos modelos. Esta limitación se debe principalmente al alto costo de probar los LLMs, ya que generar múltiples salidas requiere más potencia de cómputo. Ignorar el no determinismo en las evaluaciones limita nuestra capacidad para evaluar completamente las capacidades de los LLMs. Además, sin rastrear cuánto varían los resultados, es complicado ver cómo podrían funcionar estos modelos en el mundo real.

La Decodificación Codiciosa y el Muestreo son métodos comunes para generar respuestas de los LLMs. La decodificación codiciosa produce la salida con la probabilidad más alta en cada paso, mientras que el muestreo introduce aleatoriedad en el proceso. Estudios recientes han levantado preocupaciones de que los LLMs pueden mostrar un rendimiento inestable, especialmente en tareas que dependen del razonamiento y la codificación.

#Preguntas Clave de Investigación

Este estudio tiene como objetivo responder a varias preguntas importantes sobre el no determinismo de los LLMs:

1. ¿Cómo varía la diferencia de rendimiento entre la decodificación codiciosa y el muestreo?
2. ¿Cuándo es un método mejor que el otro y por qué?
3. ¿Qué benchmarks muestran más consistencia respecto al no determinismo?
4. ¿Tienen los diferentes modelos comportamientos únicos?

Al examinar estas preguntas, esperamos entender mejor cómo responden los LLMs a diferentes estrategias de decodificación.

#Hallazgos de los Experimentos

A través de extensos experimentos, encontramos varios puntos interesantes:

• Para la mayoría de las tareas, los modelos que usaron decodificación codiciosa se desempeñaron mejor que los que usaron muestreo. Sin embargo, hay excepciones, como ciertos casos en el benchmark de AlpacaEval donde el muestreo mostró un mejor rendimiento.
• La consistencia del rendimiento varió entre diferentes tamaños de modelos y métodos de Alineación. Notablemente, alinear los LLMs puede reducir la variabilidad observada en las muestras.
• Modelos más pequeños, al usar un enfoque de muestreo de mejor de-N (seleccionando la mejor respuesta entre múltiples muestras), pueden desempeñarse tan bien o incluso mejor que modelos más grandes, como GPT-4-Turbo.
• Se observó una alta variabilidad en ciertos benchmarks, especialmente en tareas de razonamiento, donde había una notable diferencia entre las mejores y peores salidas en el muestreo.

#Perspectivas Específicas de Tareas

Al explorar cómo diferentes tareas afectaban el rendimiento del modelo, notamos que ciertos benchmarks mostraron más consistencia. Por ejemplo, MixEval y MMLU mostraron un rendimiento estable debido a sus opciones de respuesta limitadas. En cambio, tareas como GSM8K y HumanEval exhibieron fluctuaciones significativas en el rendimiento, con diferencias de más de 10 puntos entre las mejores y peores salidas de muestreo.

Al comparar la decodificación codiciosa y el muestreo, la decodificación codiciosa generalmente llevó a un mejor rendimiento en una amplia gama de tareas. Sin embargo, para tareas más simples y abiertas, como las que se encuentran en AlpacaEval, el muestreo tendía a generar mejores respuestas.

#Efectos de la Escalabilidad y Alineación

También investigamos cómo la escalabilidad (aumentar el tamaño del modelo) y los métodos de alineación (entrenar modelos para que funcionen mejor según preferencias) afectaban el no determinismo. Contrario a la suposición de que modelos más grandes mostrarían menor variabilidad, nuestros hallazgos indicaron que la escalabilidad no redujo consistentemente la varianza en el muestreo.

Técnicas de alineación como DPO (Optimización de Preferencias Directas) mostraron disminuir la varianza en las salidas muestreadas. Sin embargo, no todos los métodos de alineación mejoraron el rendimiento en general; algunos enfoques llevaron a peores resultados en benchmarks específicos.

#El Rol de los Parámetros de Decodificación

Examinamos cómo parámetros específicos afectan el no determinismo. Por ejemplo, la configuración de temperatura controla cuán aleatorio es el proceso de muestreo. Una temperatura más baja lleva a salidas más predecibles, mientras que una más alta permite mayor variabilidad. Nuestra investigación indicó que si bien temperaturas más altas beneficiaron algunas tareas, perjudicaron el rendimiento en tareas de razonamiento.

Se probaron las penalizaciones por repetición, que animan a los modelos a usar nuevas palabras en lugar de repetir las anteriores. En la mayoría de los casos, mantener la penalización predeterminada produjo los mejores resultados, pero algunas tareas mostraron mejoras al ajustar las penalizaciones.

#Aprendiendo del No Determinismo

Al analizar el no determinismo, podemos revelar patrones en cómo los modelos generan salidas. Por ejemplo, se encontró que la decodificación codiciosa a menudo producía respuestas más cortas en comparación con la longitud promedio de las respuestas muestreadas. Sin embargo, en algunos casos, como con los modelos Yi, las longitudes de respuesta eran similares sin importar el método usado.

En un estudio de caso particular usando un modelo en una tarea de matemáticas, quedó claro que la decodificación codiciosa producía respuestas correctas consistentemente, mientras que el muestreo dio una alta tasa de error.

#El Enfoque de Mejor de-N

Para aprovechar todo el potencial de los LLMs, empleamos una estrategia de mejor de-N, seleccionando la mejor respuesta entre múltiples respuestas generadas. Usando modelos que clasifican estas respuestas, los LLMs más pequeños pueden superar a los más grandes en varios benchmarks.

Esto indica que incluso los modelos más pequeños tienen capacidades fuertes, enfatizando que la mejora en la alineación debería centrarse en interpretar de manera robusta el conocimiento y los caminos de razonamiento.

#Conclusión y Direcciones Futuras

En conclusión, evaluar modelos de lenguaje grandes requiere un enfoque cuidadoso que considere el no determinismo. Este estudio destaca cómo diferentes estrategias de decodificación influyen en el rendimiento del modelo y proporciona una comprensión más profunda del comportamiento de los LLMs en varias tareas. Los hallazgos instan a los investigadores a explorar el no determinismo más a fondo en estudios futuros, con el objetivo de mejorar el diseño y la evaluación de los LLMs para entender mejor sus capacidades.

Al adoptar estrategias de mejor de-N y explorar más a fondo la alineación y la escalabilidad, hay una oportunidad significativa de mejorar los modelos más pequeños y hacerlos más eficientes en diversas tareas. Con este conocimiento, podemos esperar avances en cómo los LLMs entienden y generan lenguaje humano, allanando el camino para mejores aplicaciones de IA.