Mejorando los LLMs con herramientas especializadas para tareas complejas

Los modelos de lenguaje grandes (LLMs) se han vuelto Herramientas esenciales en muchas áreas, y ahora van más allá del simple procesamiento de texto. Ahora se ven como agentes de lenguaje de propósito general que pueden ayudar a la gente en varias tareas complejas de la vida real. Sin embargo, estas tareas a menudo ocurren en entornos tan vastos que los LLMs no pueden comprender completamente solo con su memoria a corto plazo. Este documento explora cómo las herramientas pueden ayudar a los LLMs a manejar estos entornos complejos de manera efectiva.

#La Necesidad de Herramientas

Cuando los LLMs interactúan con configuraciones complicadas, pueden tener dificultades para captar toda la información necesaria. A menudo intentan ajustar el entorno a su memoria, que tiene limitaciones. A medida que el entorno se vuelve más complejo, este método falla. Otra forma es darles herramientas a los LLMs que les permitan recopilar información activamente e interactuar con el entorno de manera más efectiva. Al usar el lenguaje para guiar sus acciones, los LLMs pueden decidir qué herramientas son las más adecuadas para la tarea en cuestión. Este nuevo enfoque no se ha estudiado a fondo aún, y este documento tiene como objetivo investigar cuán efectivo puede ser esta estrategia.

#Herramientas Personalizadas para Entornos Complejos

Para ver cómo los LLMs pueden manejar la complejidad con la ayuda de herramientas, diseñamos herramientas específicas adaptadas a dos tipos de entornos complejos: Bases de datos y Bases de Conocimiento (KBs). A diferencia de otros estudios que usaron APIs existentes, creamos nuestras herramientas desde cero. Nos basamos en cómo los humanos recopilan información, como buscar palabras clave o examinar relaciones entre datos. El objetivo era crear herramientas que actúen como un intermediario entre el LLM y el entorno, facilitando que el LLM comprenda y opere dentro de él.

#Probando las Herramientas

Llevamos a cabo experimentos para evaluar qué tan bien mejoran estas herramientas a los LLMs en tareas que requerían interacción con bases de datos y bases de conocimiento. Los resultados fueron prometedores. Por ejemplo, cuando se equipó a GPT-4 con estas herramientas, superó significativamente soluciones anteriores en tareas que requerían acceso a bases de datos. De hecho, mostró una mejora de rendimiento de 2.8 veces en tareas de bases de datos y 2.2 veces en tareas de bases de conocimiento en comparación con los mejores métodos existentes.

#Principales Conclusiones

Nuestros hallazgos revelan que las herramientas son vitales para permitir que los LLMs funcionen eficazmente en entornos desafiantes. Las principales contribuciones de esta investigación incluyen:

1. La creación de un nuevo marco que incorpora herramientas personalizadas para bases de datos y bases de conocimiento, permitiendo a los LLMs manejar mejor tareas complejas.

2. Pruebas extensivas de diferentes LLMs a través de varios benchmarks, demostrando la efectividad de nuestro enfoque mejorado con herramientas.

3. Una conclusión clara de que las herramientas son esenciales para que los LLMs naveguen y operen con éxito en entornos complejos.

#Trabajos Relacionados

Los métodos anteriores que dependían de alimentar el entorno directamente a los LLMs enfrentaron desafíos, particularmente en escalabilidad. A medida que los entornos se volvían más complejos, linealizarlos en tokens a menudo no era viable. Otros estudios tomaron diferentes enfoques, ya sea generando planes que necesitaban refinamiento posterior o usando el LLM para evaluar planes pre-preparados. Estos métodos no aprovecharon completamente las capacidades de razonamiento de los LLMs cuando se enfrentaban a tareas intrincadas.

Nuestra investigación se basa en trabajos anteriores pero busca expandir esto proporcionando a los LLMs una gama más amplia de herramientas especializadas, permitiéndoles interactuar con los entornos a demanda. Si bien métodos existentes como StructGPT han intentado estrategias similares, sus opciones de herramientas limitadas restringieron su efectividad para comprender entornos complejos.

#Herramientas Personalizadas para Bases de Datos

Diseñamos específicamente 12 herramientas para entornos de bases de datos. Estas herramientas se dividieron en dos categorías: navegacionales y funcionales.

#Herramientas Navegacionales

Estas herramientas ayudan al LLM a explorar y extraer datos relevantes de la base de datos. Algunos ejemplos incluyen:

• Encontrar Columnas: Estas funciones ayudan a los LLMs a localizar las columnas correctas en la base de datos según los valores que intentan coincidir.

• Valores Distintos: Esta función devuelve todos los valores únicos de una columna específica, ayudando en la toma de decisiones.

#Herramientas Funcionales

Las herramientas funcionales permiten al LLM realizar operaciones específicas dentro de la base de datos:

• Ejecución de Consultas SQL: Esta función ayuda al LLM a ejecutar consultas SQL para recuperar datos.

• Especificación de Cláusulas: Funciones que ayudan al LLM a especificar diferentes cláusulas como FROM, WHERE, SELECT, etc., que son esenciales para construir consultas SQL efectivas.

#Herramientas Personalizadas para Bases de Conocimiento

Además de las herramientas de bases de datos, también desarrollamos 7 herramientas especializadas para bases de conocimiento. Estas herramientas incluían tanto tipos navegacionales como funcionales.

#Herramientas Navegacionales

Estas herramientas asisten al LLM en moverse a través de la gran cantidad de información en una base de conocimiento:

• Obtener Relaciones: Esta función permite al LLM encontrar todas las relaciones conectadas a una entidad específica.

• Encontrar Vecinos: Esta herramienta ayuda a recuperar entidades relacionadas según las relaciones identificadas.

#Herramientas Funcionales

Estas herramientas permiten ejecutar tareas específicas dentro de una base de conocimiento:

• Funciones de Agregación: Funciones que permiten al LLM encontrar entidades con valores máximos o mínimos para un atributo dado.

• Contar Entidades: Esta herramienta ayuda a los LLMs a entender cuántas entidades pertenecen a una variable específica.

#Integrando el Razonamiento con Herramientas

Para asegurarnos de que los LLMs puedan usar estas herramientas de manera efectiva, adoptamos un marco llamado ReAct. A diferencia de los métodos existentes que a menudo seguían procedimientos rígidos, ReAct permite al LLM decidir qué herramientas usar según el contexto al que se enfrenta.

En cada paso, el LLM predice su acción basada en el estado actual, integrando su proceso de razonamiento con las herramientas que tiene disponibles. Este enfoque flexible mejora la capacidad del LLM para responder con precisión a los desafíos presentados por entornos complejos.

#Experimentando con Diferentes Modelos

Para evaluar nuestro marco, probamos varios modelos de lenguaje, tanto modelos avanzados como GPT-4 y modelos de código abierto como Llama2 y Mistral. Los resultados mostraron una mejora significativa en el rendimiento cuando los LLMs estaban equipados con nuestras herramientas personalizadas.

Descubrimos que, si bien los modelos Llama2 generalmente tenían dificultades con la aplicación de herramientas, modelos como Mistral y Mixtral tenían un mejor rendimiento. Sin embargo, aún existía una notable brecha entre estos modelos y los más avanzados GPT-3.5-turbo y GPT-4. Nuestros hallazgos sugieren que los modelos más fuertes pueden recuperarse de errores a través de la retroalimentación de manera más efectiva que los más débiles. En cambio, los modelos más débiles se beneficiaban de un razonamiento estructurado al tomar decisiones sobre el uso de herramientas.

#Herramientas como Middleware

Un aspecto clave de nuestra investigación fue examinar cómo las herramientas funcionan como una capa de middleware. Comparamos el rendimiento de los LLMs utilizando nuestras herramientas contra aquellos que usaban varias muestras de datos directamente del entorno. Los resultados mostraron que, si bien hubo cierta mejora en el rendimiento al usar datos adicionales, los LLMs con herramientas superaron consistentemente a los que dependían únicamente de la interacción directa con el entorno.

#Conclusión y Direcciones Futuras

Esta investigación resalta la importancia de herramientas personalizadas para ayudar a los LLMs a manejar la complejidad en tareas del mundo real. Si bien logramos resultados notables en bases de conocimiento y bases de datos, reconocemos que hay entornos más desafiantes que carecen de interfaces claras.

El trabajo futuro se centrará en crear herramientas para entornos más amplios, incluyendo aquellos sin sistemas de consulta claros, como páginas web o incluso espacios físicos. Nuestro documento subraya el potencial significativo de usar herramientas personalizadas para mejorar la capacidad de los LLMs y allanar el camino para su uso en aplicaciones más complejas.

#Agradecimientos

Queremos agradecer a nuestros colegas que proporcionaron comentarios útiles, contribuyendo al desarrollo y perfeccionamiento de esta investigación. Nuestro trabajo también fue respaldado por financiamiento de investigación de Cisco.

#Definiciones de Herramientas

En esta sección, ofrecemos una descripción detallada de nuestras herramientas personalizadas para bases de datos y bases de conocimiento. Estas selecciones de herramientas se realizaron con base en un amplio conocimiento del dominio y se estructuraron cuidadosamente para satisfacer una amplia gama de necesidades operativas.

#Estadísticas de Benchmarks

Para validar nuestros hallazgos, recopilamos benchmarks que reflejan la complejidad del mundo real, permitiendo una evaluación más efectiva de los agentes de lenguaje. Estos benchmarks se eligieron para ofrecer una evaluación más representativa de qué tan bien pueden manejar diferentes modelos tareas desafiantes en entornos complejos.

#Resumen de Resultados

Equipados con herramientas especializadas, los LLMs mostraron un rendimiento notable en varios benchmarks. El estudio enfatizó cómo estas herramientas son instrumentales para impulsar las capacidades de los modelos de lenguaje, permitiéndoles operar de manera eficiente en entornos complejos.

En general, nuestra investigación sienta las bases para futuros avances en aplicaciones de modelos de lenguaje, destacando el papel del diseño innovador de herramientas en la expansión de las habilidades de los LLMs para navegar tareas y entornos complicados.