Por qué los Modelos de Lenguaje tienen problemas contando letras

Los Modelos de Lenguaje Grande, o LLMs, son programas de computadora diseñados para entender y generar lenguaje humano. Se han vuelto muy populares porque pueden hacer muchas tareas complejas bastante bien, como responder preguntas, escribir ensayos e incluso tener conversaciones. Sin embargo, uno pensaría que contar letras en una palabra simple sería pan comido para ellos. Sorprendentemente, ese no es el caso. Estos modelos a veces fallan en contar letras, incluso en una palabra fácil como "fresa".

Este asunto ha levantado cejas. Si estos modelos pueden hacer tantas cosas que parecen difíciles, ¿por qué tropiezan con tareas tan básicas? Vamos a echar un vistazo ligero a este misterio y explorar qué podría estar yendo mal.

#Lo Básico de los LLMs

Los LLMs son entrenados con cantidades gigantescas de texto de libros, artículos, sitios web, y muchas otras fuentes. Imagina desplazarte por internet y leer todo lo que ves—esto es algo parecido a lo que hacen los LLMs, solo que devoran información a la velocidad de la luz. Aprenden patrones en el lenguaje, lo que les permite predecir qué viene después en una oración o responder preguntas basadas en lo que han leído.

Cuando le preguntas algo a un LLM, no solo adivina una respuesta. En vez de eso, intenta predecir la próxima palabra o frase basada en los patrones que aprendió durante su entrenamiento. Esto es algo similar a como las personas aprenden idiomas, pero con algunas diferencias.

#El Enigma del Conteo

Puedes preguntarte: si los LLMs pueden generar textos complicados, ¿por qué no pueden contar letras correctamente? Bueno, resulta que cuando estos modelos analizan texto, no necesariamente se enfocan en letras individuales. En vez de eso, tienden a pensar en "tokens". Los tokens pueden ser Palabras completas, partes de palabras, o incluso solo un par de letras. Por ejemplo, la palabra "fresa" podría descomponerse en tres tokens: "fr," "es," y "a."

El problema surge porque la forma en que los LLMs son entrenados hace que sea más fácil para ellos identificar palabras y frases que contar las letras individuales dentro de esas palabras. Como ven las letras como parte de un cuadro más grande, contarles se convierte en una tarea complicada.

#¿Cuál es el Problema con el Conteo?

Se han hecho investigaciones para entender por qué los LLMs tienen este problema de conteo. Parece que, aunque los LLMs pueden reconocer letras, tienen problemas cuando se les pide contarles realmente. En un experimento, se evaluaron diferentes modelos para ver cuán precisamente podían contar la letra "r" en "fresa." Muchos modelos se equivocaron. Algunos simplemente adivinaron números incorrectos, mientras que otros simplemente informaron que no podían encontrar las letras en absoluto.

Curiosamente, esta confusión no se debe a cuán seguido aparecen las palabras en sus datos de entrenamiento. De hecho, la frecuencia de una palabra o letra no tiene un gran impacto en la habilidad del modelo para contarlas. Se trata más de cuán difícil es la tarea de conteo, especialmente cuando las letras se repiten, como en el caso de "fresa."

#El Papel de los Tokens

Como se mencionó anteriormente, los LLMs utilizan tokens para analizar texto. Imagina si estuvieras aprendiendo un nuevo idioma, y en vez de enfocarte en letras, solo prestaras atención a palabras enteras. Esto es algo así a lo que hacen los LLMs. Dependen de los tokens para predecir oraciones, pero al hacerlo, pierden de vista las letras individuales que conforman esos tokens.

La tokenización puede ser complicada. Si el modelo ve cómo se descompone "fresa" en tokens, podría no conectar del todo el hecho de que la letra "r" aparece más de una vez. Esto puede llevar a errores de conteo o a perderlas por completo.

#Ejemplos de los Problemas de Conteo

Para ilustrar mejor este problema, exploremos un ejemplo divertido. Supón que le preguntas a un LLM cuántas veces aparece la letra "e" en la palabra "abeja." Un humano bien entrenado puede ver fácilmente que la respuesta es dos. Sin embargo, el modelo podría confundirse y decir que es uno o incluso cero porque no logró reconocer que "e" es parte de un token o elemento de palabra repetido.

Una situación similar ocurre con palabras más largas o complicadas. Cuando las letras aparecen varias veces, se vuelve aún más difícil para los modelos contarlas con precisión. El modelo podría simplemente lanzar una adivinanza o quedarse estancado, no porque no pueda reconocer las letras, sino porque no parece poder sumarlas correctamente.

#Por Qué la Frecuencia No Importa

Podrías pensar que si una letra o palabra aparece más a menudo en los datos de entrenamiento de un modelo, sería más fácil de contar. Sorprendentemente, este no es el caso. Los investigadores no encontraron un vínculo claro entre cuán seguido aparece una palabra o letra en los datos de entrenamiento y la capacidad del modelo para contarlas correctamente. Así que, tener una letra que aparezca mil veces no garantiza que el modelo la cuente bien.

Esto significa que los errores de conteo no provienen de una falta de exposición a las palabras. En cambio, parece que el desafío radica en cómo se procesa esta exposición. Los modelos simplemente no tienen las habilidades de conteo para igualar su comprensión del lenguaje.

#La Dificultad de Contar Letras

Parece que los LLMs tienen más problemas al contar letras que aparecen varias veces. Suelen manejar bien palabras con letras únicas. En contraste, cuando las letras se repiten, las cosas comienzan a desmoronarse. Si una palabra tiene varias instancias de la misma letra, los modelos parecen perder la cuenta.

Para ilustrar esto aún más, tomemos "globo." Tiene dos “l” y dos “o.” Para la mayoría de las personas, contar esas letras es fácil. Sin embargo, para los LLMs, puede convertirse en una tarea enredada. Podrían identificar correctamente las letras pero de alguna manera fallar en calcular los totales correctos.

#Por Qué los Modelos Más Grandes Parecen Mejores

Curiosamente, los modelos más grandes tienden a desempeñarse mejor que los más pequeños cuando se trata de contar letras. Los modelos más grandes tienen más parámetros y capacidades, lo que les permite entender y manejar tareas complejas mejor, incluso si aún tropiezan al contar letras.

Sin embargo, es esencial notar que aunque el tamaño importa, no resuelve por completo el problema de conteo. Incluso los modelos grandes aún enfrentan su propia cuota de errores, especialmente con palabras que tienen letras repetidas.

#Tokenización: El Ingrediente No Tan Secreto

La forma en que se manejan los tokens juega un papel significativo en los problemas de conteo que enfrentan los LLMs. Diferentes modelos utilizan diferentes esquemas de tokenización, lo que puede afectar su rendimiento en varios idiomas y contextos. Estas diferencias pueden llevar a resultados variados en errores de conteo.

Por ejemplo, un modelo puede usar un esquema de tokenización que descomponga una palabra en partes más pequeñas, lo que podría confundir el proceso de conteo. Si un token tiene una letra que aparece múltiples veces, el modelo podría procesarla solo como una única instancia, llevando a conteos inexactos.

#Conclusión

En resumen, los LLMs han avanzado mucho, logrando hacer cosas increíbles con el lenguaje. Sin embargo, todavía tropiezan con tareas simples como contar letras. Esta peculiar situación resulta de varios factores, incluyendo su dependencia de la tokenización, la complejidad de contar letras repetidas y el hecho de que la frecuencia no importa mucho en este contexto.

Aunque pueden tener el conocimiento para reconocer palabras, sus habilidades de conteo dejan mucho que desear. Esta situación nos recuerda que incluso las tecnologías más avanzadas pueden tener sus tropiezos. La próxima vez que le pidas a un modelo de lenguaje que cuente algunas letras, tal vez quieras prepararte para una respuesta inesperada—porque contar, resulta, no es tan simple como parece.

¿Y quién sabe? Quizás algún día estos modelos aprenderán a contar. Hasta entonces, es mejor dejar el conteo a los humanos. Después de todo, somos los verdaderos expertos cuando se trata de lidiar con esas molestas letras.