AJEDREZ: Un Nuevo Enfoque para la Generación de SQL

Usar modelos de lenguaje grandes (LLMs) para convertir preguntas en lenguaje natural en consultas SQL es una buena idea pero viene con algunas dificultades, especialmente con bases de datos grandes y complejas. Uno de los mayores retos es extraer catálogos y valores relevantes de la base de datos, lo que puede llevar a resultados menos efectivos. Abordamos este problema sugiriendo un nuevo proceso que encuentra los datos y el contexto correctos, elige el mejor esquema y crea consultas SQL precisas. Para hacer la recuperación más precisa, nuestro proceso utiliza un método ingenioso que combina palabras clave, indexación especial y bases de datos vectoriales. También hemos desarrollado una técnica flexible de poda de esquemas que cambia según la complejidad del problema y el tamaño del contexto del modelo. Nuestro enfoque funciona bien tanto con modelos avanzados como GPT-4 como con modelos de código abierto como Llama-3-70B. A través de varias pruebas, mostramos lo efectivo que es cada parte de nuestro proceso y cómo mejora el rendimiento general. Logramos un rendimiento impresionante en el complicado Conjunto de datos BIRD.

Convertir preguntas en lenguaje natural en consultas de base de datos, también conocido como texto a SQL, ha sido un enfoque de investigación durante mucho tiempo. Este problema se ha vuelto más difícil debido a la creciente complejidad de las bases de datos, impulsada por el aumento en el tamaño de los esquemas, valores y catálogos. Incluso los mejores modelos propietarios, como GPT-4, aún no alcanzan a los humanos en cuanto a los estándares de texto a SQL, con una notable brecha de precisión del 30%. Más allá del desafío de escribir consultas SQL, esta brecha se debe principalmente a la necesidad de reunir e integrar eficazmente diversas piezas de información, incluidos valores de base de datos, catálogos y esquemas, cada uno con un formato diferente, lo que complica la tarea.

Destacamos algunos desafíos que enfrentan los sistemas modernos de texto a SQL. Por ejemplo, las preguntas de los usuarios pueden no coincidir directamente con los valores almacenados en la base de datos, lo que hace crucial identificar con precisión el formato del valor para una generación efectiva de consultas SQL. Además, los esquemas de base de datos del mundo real a menudo contienen nombres de columnas y tablas vagos, junto con datos desordenados. Esto complica el proceso de traducción, indicando la necesidad de un sistema de recuperación sólido para encontrar información relevante. Además, puede haber múltiples consultas SQL válidas que pueden responder a la misma pregunta. Por ejemplo, para una pregunta específica, uno podría usar "ORDER BY" y "LIMIT 1" para encontrar la puntuación promedio más alta, mientras que otro método podría ser usar una subconsulta con la función "MAX()", lo que podría llevar a resultados diferentes.

Investigaciones anteriores en este campo a menudo limitaban el contexto para la generación de SQL solo a estructuras de tabla, definiciones de columnas y filas de muestra. En contraste, las bases de datos de producción reales contienen catálogos y valores ricos que son cruciales para crear consultas SQL precisas.

Presentamos CHESS: un sistema que convierte eficientemente preguntas en lenguaje natural en consultas SQL, diseñado específicamente para bases de datos del mundo real. CHESS consiste en un proceso escalable y eficiente para la generación de SQL, dividido en tres partes principales: recuperación de entidad y contexto, selección de esquema y generación de SQL.

#Recuperación de Entidad y Contexto

En el primer paso, reunimos información relevante de la entrada, incluidas las entidades mencionadas en la pregunta y detalles contextuales en el esquema de la base de datos. Esto implica tres acciones:

1. Extracción de Palabras Clave: Para encontrar valores similares en la base de datos y descripciones del esquema, primero extraemos las palabras clave principales de la pregunta. Sugerimos al modelo ejemplos y le pedimos que identifique palabras clave y frases clave.

2. Recuperación de Entidades: A partir de las palabras clave extraídas, verificamos su correspondencia con los valores de la base de datos. Buscamos valores coincidentes en la base de datos y devolvemos los más relevantes junto con sus columnas asociadas para cada palabra clave.

3. Recuperación de Contexto: Los catálogos de la base de datos pueden contener contexto valioso. Cada columna puede tener una descripción, y esta información puede ayudar. Nuestro objetivo es identificar solo la información más relevante buscando descripciones que se ajusten estrechamente a las palabras clave extraídas.

#Selección de Esquema

El objetivo aquí es reducir el esquema para que incluya solo las tablas y columnas necesarias para crear la consulta SQL. Este conjunto refinado de tablas y columnas es lo que llamamos el esquema eficiente. Alcanzar tal esquema mejora la Generación de consultas SQL al dejar fuera información innecesaria.

Usamos métricas específicas para evaluar si hemos elegido las tablas y columnas correctas. El filtrado implica examinar cientos de columnas antes de reducirlo a unas pocas necesarias. El sistema procesa el esquema de manera eficiente en etapas, lo que mejora la capacidad del modelo para generar consultas SQL precisas.

1. Filtrado de Columnas Individuales: La base de datos puede tener muchas columnas, y muchas pueden no ser relevantes para la pregunta. Evaluamos la relevancia de cada columna como una tarea de clasificación binaria, preguntando si la columna puede estar relacionada con la pregunta.

2. Selección de Tablas: Después de filtrar columnas irrelevantes, elegimos las tablas necesarias para la consulta SQL.

3. Selección Final de Columnas: En el paso final, reducimos el esquema al mínimo número de columnas necesarias para generar la consulta SQL.

#Generación de Consultas

Una vez que tenemos el esquema eficiente que incluye contexto relevante, escribimos una consulta SQL y luego la revisamos para asegurar que sea correcta.

1. Generación de Candidatos: Usando el esquema reducido, pedimos al modelo que cree una consulta SQL.

2. Revisión: Comprobamos la consulta SQL contra el esquema de la base de datos y la pregunta, permitiendo que el modelo evalúe y corrija cualquier problema. Proporcionamos un conjunto de reglas de corrección para guiar el proceso de revisión del modelo, ayudándolo a producir una consulta SQL válida.

A lo largo de este proceso, cada paso es crucial para asegurar que el modelo de lenguaje produzca consultas SQL precisas y eficientes. Preprocesamos los valores de la base de datos y los catálogos para hacer la recuperación más rápida durante la ejecución. Para los valores de la base de datos, usamos métodos de indexación, mientras que para los catálogos, nos enfocamos en la similitud semántica.

#Conjuntos de Datos y Métricas

El conjunto de datos Spider incluye 200 esquemas de base de datos usados para entrenamiento y pruebas, mientras que el conjunto de datos BIRD presenta más de 12,000 pares únicos de preguntas-SQL en varios campos. El conjunto de datos BIRD agrega complejidad al incluir un catálogo detallado, ayudando en la generación de consultas SQL.

Métricas como la precisión de ejecución ayudan a evaluar qué tan bien funciona nuestro enfoque en comparación con los estándares. En el estándar BIRD, nuestro método ha logrado métricas de rendimiento impresionantes, clasificándose primero entre todos los métodos conocidos.

#Resultados de BIRD

En nuestras evaluaciones, encontramos que nuestro método superó a muchos otros en el conjunto de datos BIRD. Cuando se probó en el conjunto de datos Spider, también tuvo un buen rendimiento, mostrando la efectividad de nuestro enfoque en la generación de consultas SQL a través de diferentes estándares.

#Estudios de Ablación

Realizamos varios estudios para entender cómo cada parte de nuestro proceso contribuye al rendimiento general. Al eliminar componentes y observar el impacto, encontramos que nuestros métodos de recuperación selectiva y las estrategias de selección de esquemas mejoran significativamente la efectividad del modelo.

#Comparación de Diferentes Configuraciones de Motores

Probamos nuestra tubería usando varios modelos de lenguaje. Notablemente, nuestro modelo ajustado para la generación de candidatos mostró mejoras significativas en rendimiento en comparación con otros modelos.

#Evaluación del Rendimiento a través de Diferentes Tipos de Consultas

El estándar BIRD categoriza preguntas según la complejidad. Observamos que nuestro método consistentemente entregó mejores resultados en todos los niveles de dificultad, demostrando un rendimiento mejorado a través de métodos de recuperación selectiva.

#Conclusión y Direcciones Futuras

Presentamos CHESS, un nuevo proceso para traducir preguntas en lenguaje natural en consultas SQL. Al enfocarnos en métodos de recuperación eficientes y selección de esquemas, logramos un rendimiento sobresaliente en el desafiante conjunto de datos BIRD. Nuestro trabajo reduce la brecha de rendimiento entre modelos de código abierto y propietarios, mientras se protege la privacidad de los datos.

El objetivo final sigue siendo un proceso de consulta de base de datos totalmente automatizado, una tarea en la que los humanos aún superan a las máquinas. La investigación futura podría centrarse en refinar los métodos de recuperación y mejorar aún más cómo nuestro sistema selecciona esquemas, mejorando la precisión de las consultas SQL en general.

A través de pruebas sistemáticas y un desglose cuidadoso de nuestro enfoque, ofrecemos un camino claro para futuros avances en la generación de consultas SQL, asegurando que la información relevante se capture de manera efectiva.