Mejorando los LLMs con Selección Efectiva de Datos

Los Modelos de lenguaje grandes (LLMs) se están volviendo herramientas populares para ayudar a los usuarios con varias tareas de programación, especialmente cuando se trata de trabajar con Datos. Estos modelos pueden ayudar a usuarios cotidianos, no solo a programadores profesionales. Mucha gente necesita ayuda con tareas que implican manejar datos en tablas, como gestionar hojas de cálculo. Sin embargo, estas tareas pueden ser complicadas porque a menudo es difícil explicar lo que quieres usando solo palabras sin mostrar los datos reales.

Surge una pregunta importante: ¿cómo decidimos qué datos incluir al pedir ayuda al modelo? Este artículo discute dos contribuciones principales para responder esa pregunta. Primero, examina un nuevo conjunto de datos creado a partir de problemas reales que la gente ha publicado en línea sobre trabajar con tablas. Segundo, introduce un nuevo método llamado “cluster-then-select” para elegir las mejores filas de datos a incluir al darle un aviso al modelo.

Las investigaciones han mostrado que el éxito de los LLMs puede depender mucho de cuántos datos se incluyan en el aviso. El nuevo método que discutimos funciona mejor que simplemente elegir filas al azar de un conjunto de datos, especialmente cuando los datos están escritos de diferentes maneras.

#La Necesidad de Mejores Herramientas

A medida que los LLMs se vuelven más avanzados, prometen ayudar a los usuarios con tareas que implican gestión de datos. Estas tareas pueden variar desde descomponer cadenas de texto en hojas de cálculo hasta limpiar y organizar datos en varios programas. Considera una tarea simple: si tienes una lista de nombres completos y quieres crear una nueva lista de nombres de usuario usando la primera inicial y el apellido, se puede hacer usando un lenguaje de programación como Pandas.

Sin embargo, el desafío proviene del hecho de que los nombres pueden aparecer en muchos formatos diferentes. Algunas personas pueden tener solo un nombre y un apellido, mientras que otros pueden tener nombres adicionales. Si al modelo se le dan solo unos pocos ejemplos que no incluyen todas estas variaciones, podría crear un programa defectuoso que no funcione correctamente.

Este artículo se enfoca en tareas que implican múltiples pasos para cambiar los datos de entrada en una nueva salida. Usando ejemplos del mundo real de foros de ayuda en línea, creamos un nuevo conjunto de datos que incluye tanto una pregunta formulada en lenguaje sencillo como una pequeña tabla de datos para trabajar.

#Analizando las Consultas de los Usuarios

Para entender mejor los desafíos, miramos los tipos de preguntas que los usuarios podrían hacer. Muchas tareas sobre datos generalmente requieren que los usuarios describan lo que quieren en lenguaje natural, pero los datos de ejemplo son cruciales para llegar a la solución correcta. Dado que la mayoría de las tablas usadas en el mundo real son grandes, a menudo no es práctico enviar la tabla completa al modelo. Por lo tanto, el desafío es encontrar la mejor manera de explicar la estructura de esos grandes datos.

Para abordar este problema, desarrollamos un método para agrupar filas de datos según sus formatos y luego elegir las filas más representativas para incluir en el aviso. Por ejemplo, si queremos crear nombres de usuario, nuestro método se asegura de incluir una fila para cada tipo de formato de nombre, ya sea que no tenga segundo nombre, tenga un segundo nombre o más.

#Construyendo un Conjunto de Datos

Este nuevo conjunto de datos se construye a partir de tareas reales que los usuarios han enfrentado. Recopilamos datos de publicaciones altamente valoradas sobre el uso de fórmulas de Excel, ya que a menudo reflejan desafíos comunes en hojas de cálculo. Esto resultó en 201 tareas únicas que incluyen una consulta clara, una entrada de datos y la salida esperada, junto con una solución en Pandas.

Las tareas en este conjunto de datos varían desde las simples que no necesitan ningún dato para resolver, hasta aquellas que requieren tanto datos como algo de conocimiento externo. Por ejemplo, crear una nueva columna que liste los primeros cinco caracteres de un nombre de archivo no necesita datos externos, mientras que contar fechas de vacaciones entre dos fechas sí.

#El Papel de los Datos

El conjunto de datos nos ayuda a estudiar cómo los datos influyen en el rendimiento del modelo. Analizamos diferentes situaciones: sin datos en absoluto, solo la primera fila de datos y un conjunto ampliado con diez filas. Nuestros hallazgos indican que incluso una pequeña cantidad de datos puede mejorar el rendimiento significativamente.

#Comparando Diferentes Técnicas de Selección

A través de experimentos con nuestra nueva técnica de cluster-then-select, la comparamos con simplemente elegir filas de datos al azar. En nuestras pruebas, este nuevo método funciona mejor para tareas que tienen muchas variaciones en la entrada. Por ejemplo, darle al modelo diez filas seleccionadas basadas en los resultados del agrupamiento a menudo conduce a un mejor rendimiento en comparación con seleccionar filas al azar.

Encontramos una alta variación en los resultados al usar selección aleatoria porque puede llevar a elegir filas que realmente no representan las variaciones en la entrada. Por lo tanto, aunque ambos métodos pueden dar buenos resultados en general, nuestro método de cluster-then-select ofrece un resultado más consistente.

#Posicionamiento de Datos en los Avisos

Otro punto interesante es cómo la posición de las filas de datos en un aviso afecta el rendimiento. En un conjunto separado de pruebas, mezclamos el orden de las filas de datos en los avisos para ver cómo influía esto en los resultados. Notamos que la posición tiene un impacto sustancial, y algunos arreglos funcionan mejor que otros. Esto se alinea con lo que investigaciones previas han mostrado sobre cómo el orden de la información puede cambiar su efectividad.

#Direcciones Futuras

Los hallazgos de nuestra investigación subrayan la importancia de los datos para ayudar a los modelos a generar códigos para tareas enfocadas en datos. Proporcionar datos mejora significativamente el rendimiento. Dado que compartir el conjunto de datos completo suele ser impráctico, nuestra técnica de cluster-then-select nos permite incluir solo las filas más relevantes en el aviso.

Sin embargo, aún hay muchos desafíos por abordar. La investigación futura podría involucrar el tratamiento de problemas más complejos, como entradas de múltiples tablas o diferentes tipos de estructuras de datos. Estas nuevas direcciones podrían proporcionar una comprensión más profunda de cómo apoyar mejor a los usuarios.

#Consideraciones Éticas

Es crucial tener en cuenta las implicaciones éticas más amplias de desarrollar modelos de IA que crean código a partir de entradas en lenguaje natural. Problemas como el sesgo y los riesgos potenciales asociados con el manejo de información personal son importantes a considerar. Aunque nuestro enfoque está en mejorar el rendimiento del modelo con datos, asegurar que los datos utilizados sean de alta calidad es igualmente vital.

Nuestro objetivo es entregar resultados en los que los usuarios puedan confiar, y esto significa estar conscientes de cómo los datos podrían moldear los resultados producidos por el modelo. Proporcionar contexto alrededor de los datos ayuda a prevenir cualquier uso indebido o mala interpretación de las salidas generadas.

#Conclusión

En resumen, este artículo destaca la importancia de los datos al trabajar en tareas de programación con LLMs. Hemos introducido un conjunto de datos que refleja los desafíos del mundo real que enfrentan los usuarios y demostrado cómo nuestro método de cluster-then-select supera a las técnicas de muestreo aleatorio. Al proporcionar incluso datos mínimos, podemos aumentar significativamente el rendimiento del modelo.

Mirando hacia adelante, será necesario explorar más a fondo escenarios complejos de datos para mejorar aún más estos modelos. La comunidad de investigación podría beneficiarse de nuevos Conjuntos de datos, una mejor comprensión de las relaciones entre datos y contexto, y herramientas que se centren en ayudar a los usuarios en sus necesidades de programación.