Las rarezas de los modelos de lenguaje: errores y descubrimientos

Los modelos de lenguaje grandes (LLMs) son herramientas que pueden producir texto basado en patrones aprendidos de un montón de datos. Pero, ¿qué pasa cuando cometen errores? Resulta que pueden ser bastante locos en sus respuestas. Este artículo se adentra en el mundo de los LLMs para examinar las formas extrañas y a veces divertidas en las que se equivocan.

#Evaluando los LLMs

Los LLMs a menudo se prueban con preguntas de opción múltiple. Piénsalo como un cuestionario donde los modelos tienen que elegir la respuesta correcta. Cuando se les hace la misma pregunta varias veces, no siempre dan la respuesta correcta. A veces, esparcen sus conjeturas por todas las opciones, mientras que otras veces, parecen aferrarse a una sola opción equivocada como si fuera su nuevo topping favorito de pizza.

Imagina preguntar a un modelo de qué color es el cielo. Si está funcionando bien, debería elegir "azul" la mayor parte del tiempo. Pero si tiene un mal día, podría decir "verde" o "de lunares".

#Cuestionando las Respuestas

Para profundizar en cómo los LLMs se equivocan, veamos algunas pruebas reales usando un conjunto de datos llamado NeoSQuAD. En este estudio, tomamos nueve preguntas aleatorias de este conjunto y le pedimos a un modelo, digamos que lo llamamos Modelo A, que las respondiera. Hicimos las preguntas 1,200 veces cada una, con la esperanza de ver cuáles eran sus respuestas favoritas.

Sorprendentemente, algunas preguntas hicieron que el Modelo A eligiera la misma respuesta incorrecta alrededor del 99% de las veces. Si esto fuera una persona, podríamos decir que está terco en sus formas. Así que no podemos solo culpar a los errores por datos de entrenamiento malos; a veces, los modelos simplemente se comportan de manera extraña.

#Elegir Sin Contexto

¿Y lo que es aún más loco? Podemos pedirle al Modelo A que elija una respuesta sin darle ningún contexto o pregunta en absoluto. Aún así, elige sus favoritas de una manera no aleatoria. Algunas preguntas dan lugar a una elección segura, mientras que otras lo hacen cambiar de opinión como un niño en una tienda de dulces.

Nos preguntamos si otros modelos se comportaban como el Modelo A. Así que miramos a siete modelos diferentes respondiendo la misma pregunta. Los resultados mostraron que algunos modelos preferían la misma respuesta incorrecta tanto como el Modelo A. Es como un grupo de amigos que todos están de acuerdo en que una película terrible es la mejor de todas.

#Comprendiendo los Errores

Cuando miramos cómo responden los LLMs a las pruebas de opción múltiple, se hace evidente que sus respuestas incorrectas dicen más de lo que podrías pensar. Al tomar una visión más amplia, podemos ver patrones en cómo a los modelos les hacen las preguntas equivocadas juntos.

Por ejemplo, una evaluación grande llamada MMLU-Pro tiene más de 12,000 preguntas. Al ver cómo diferentes modelos responden incorrectamente, podemos medir cuán similares son realmente. Pensarías que diferentes modelos actuarían de manera diferente, pero los datos muestran que a menudo cometen los mismos errores. Esto podría llevar a una situación en la que combinar modelos no resulte en una mejor respuesta, como intentar hacer que un proyecto grupal sea más inteligente pero todos terminen confundidos.

#Agrupando Modelos

Después de analizar todas estas respuestas, pudimos agrupar los modelos según cómo la regaron. Algunos modelos se quedaron juntos como una rara reunión familiar mientras que otros tomaron caminos separados. Por ejemplo, los modelos propietarios, esos que tienes que pagar, a menudo se comportaban de manera diferente a los que son de código abierto. Es como ver la diferencia entre comida rápida y una cena gourmet; ambos te llenan, pero uno tiene estilo mientras que el otro es... bueno, un poco grasoso.

#Errores Universales

Ahora hablemos de algo que llamamos "errores universales." Estas son preguntas que dejan a casi todos los modelos rascándose la cabeza. De todas las preguntas en MMLU-Pro, hay unas 160 que todos los 37 modelos responden mal. Entonces, preguntamos: ¿eligen todos la misma respuesta incorrecta?

Es gracioso porque si piensas que deberían simplemente adivinar al azar y repartir sus respuestas, hay una posibilidad de que caigan en la misma respuesta errónea-como todos en un juego de trivia respondiendo "C" porque piensan que es una letra de la suerte.

Pero ¡sorpresa! En realidad encontramos que a veces sí están de acuerdo en la misma respuesta incorrecta. Sin embargo, a menudo es porque la pregunta estaba mal diseñada, no porque todos sean listos. ¿Qué tal eso para irónico?

#Pensamientos Finales sobre los LLMs

Entonces, ¿qué hemos aprendido de esta exploración en las mentes de los LLMs? Tienen una habilidad para sorprendernos, a veces de buenas maneras y otras… bueno, digamos que tienen días malos. Cuando los modelos se equivocan, a menudo lo hacen en patrones que son más similares de lo que esperaríamos.

Es casi como si tuvieran sus propias pequeñas rarezas y preferencias. Si buscas respuestas precisas, conocer estos patrones te ayudará. Pero si quieres reírte, solo pregúntales de qué color es el cielo.

Al final, los LLMs son más que solo herramientas para generar texto. Reflejan las rarezas y los defectos de los datos de los que aprenden. Ya sea que nos lleven a una gran respuesta o a un error hilarante, mantienen las cosas interesantes. Y recuerda, la próxima vez que le hagas una pregunta a tu modelo, puede que te sorprenda con su respuesta, ya sea que esté bien o completamente fuera de lugar.