Evaluando Modelos de Lenguaje Usando APIs: Un Nuevo Banco de Pruebas

Los grandes modelos de lenguaje (LLMs) son herramientas poderosas, pero tienen limitaciones cuando se trata de tareas que necesitan información en tiempo real de fuentes externas. Esto incluye actividades como revisar el clima, buscar las últimas noticias o hacer cálculos. Para mejorar cómo los LLMs manejan estas tareas, se han creado varios benchmarks para evaluar su capacidad de usar interfaces de programación de aplicaciones (APIS).

Las APIs son esenciales para permitir que los LLMs accedan a información actualizada y realicen tareas especiales. Sin embargo, muchos benchmarks existentes tienen debilidades, como la dificultad de aplicar los resultados a diferentes situaciones, no probar con precisión tareas complejas y problemas relacionados con cómo las APIs funcionan en tiempo real.

#¿Cuáles Son los Desafíos?

1. Generalizabilidad: Muchos benchmarks no ofrecen conjuntos de datos de retención adecuados. Esto significa que pueden funcionar bien en conjuntos de datos específicos, pero no en situaciones del mundo real donde los datos pueden variar significativamente. Por ejemplo, un LLM entrenado con un cierto conjunto de datos podría tener problemas para sobresalir cuando se expone a diferentes entornos de API.

2. Sesgo Hacia Consultas Simples: La mayoría de los benchmarks tienden a enfocarse en consultas de un solo paso, donde responder a una pregunta implica solo una llamada a la API. Las situaciones de la vida real a menudo requieren tratar con consultas de múltiples pasos que dependen de respuestas previas.

3. Inestabilidad General: La naturaleza de las APIs es que pueden cambiar rápidamente. Esta inestabilidad dificulta la evaluación precisa de los sistemas porque las respuestas estáticas pueden volverse obsoletas rápidamente. A medida que evolucionan los servicios de API, puede que no respondan de manera consistente, lo que resulta en fluctuaciones en la calidad de los datos.

4. Evaluación Incompleta: Evaluar solo una parte del proceso de API deja de lado muchos elementos importantes. Una evaluación exhaustiva debería analizar si se eligieron las herramientas correctas, si se llamaron correctamente esas herramientas y si la respuesta final es precisa.

#Presentando un Nuevo Entorno de Pruebas

Para abordar estos desafíos, se ha desarrollado un nuevo entorno de pruebas. Este banco de pruebas busca evaluar sistemáticamente qué tan bien los LLMs usan APIs, especialmente en escenarios realistas. Integra un sistema basado en agentes que gestiona todo el proceso de API, desde recuperar la API correcta hasta llamarla y entregar respuestas informativas a los usuarios.

#Características Clave del Banco de Pruebas:

• Benchmarks Estandarizados: El nuevo banco de pruebas estandariza los benchmarks existentes para permitir comparaciones y evaluaciones más fáciles. Esto significa que todos los datos están formateados de manera consistente, lo que facilita trabajar con múltiples fuentes.

• Pipeline de Evaluación Robusto: El proceso de evaluación asegura que cada etapa de recuperación de API, llamada y respuesta final esté exhaustivamente probada. Este pipeline ofrece una imagen más clara de qué tan bien se desempeña un LLM al interactuar con APIs.

• Simulador de API: Para manejar los problemas de inestabilidad en APIs reales, el banco de pruebas incluye un simulador que imita las respuestas de APIs basadas en escenarios realistas. Esto ayuda a lograr resultados confiables incluso cuando las APIs reales pueden no funcionar de manera consistente.

• Sistema de Agentes Flexible: El sistema de agentes puede adaptarse a diferentes necesidades de los usuarios y permite que se prueben tareas diversas. Los usuarios pueden intercambiar diferentes agentes, probando varios métodos de recuperación y planificación para obtener mejores resultados.

#El Flujo de Trabajo de las Interacciones de API

El proceso típico para un sistema de uso de herramientas implica varios pasos. Comienza cuando un usuario formula una pregunta o hace una solicitud. Por ejemplo, si un usuario quiere saber el clima de una ciudad específica, el sistema recupera las APIs relevantes, genera los argumentos de llamada basados en la documentación de la API y envía la solicitud al servidor de la API.

Un componente separado procesa luego los datos devueltos y genera un resumen para el usuario. Este proceso a menudo puede involucrar múltiples pasos, especialmente para consultas complejas que requieren dependencias entre los resultados de llamadas a APIs anteriores.

#Métricas de Evaluación

Para medir de manera efectiva qué tan bien el LLM se desempeña con las APIs, se consideran varias métricas clave:

• Recuperación: Esta métrica comprueba si se han recuperado las herramientas correctas y asegura que las llamadas repetidas a la misma herramienta se traten como eventos distintos.

• Precisión de Llamada a la API: Esto evalúa si los parámetros y valores pasados a las llamadas de API son correctos.

• Calidad de la Respuesta Final: La salida final se evalúa para determinar si satisface la consulta original del usuario con éxito.

Al usar estas métricas, es posible asegurarse de que cada parte de la interacción con la API esté a la altura y funcionando como debería.

#Aplicaciones del Mundo Real para el Banco de Pruebas

El nuevo banco de pruebas y sus características pueden tener varias aplicaciones prácticas. Por ejemplo, los investigadores pueden usarlo para desarrollar mejores modelos de LLMs que manejen tareas del mundo real de manera más eficiente. Al utilizar este banco de pruebas, pueden centrarse en problemas específicos sin necesidad de construir todo un sistema de evaluación desde cero.

En un sentido más amplio, mejorar cómo los LLMs interactúan con las APIs puede mejorar varias aplicaciones en diferentes campos. Esto incluye un mejor acceso a la información en el servicio al cliente, un procesamiento de datos más eficiente en el cuidado de la salud o respuestas mejoradas en herramientas educativas.

#Direcciones Futuras

De cara al futuro, hay una gran necesidad de benchmarks que reflejen situaciones más realistas. Las tareas que requieren razonamiento complejo o múltiples APIs deben ser priorizadas en las pruebas futuras. Esto asegura que a medida que la tecnología de LLMs mejore, los métodos de evaluación mantengan el ritmo con los desafíos que plantean los requisitos del mundo real.

#Conclusión

En resumen, el nuevo banco de pruebas desarrollado ofrece una solución integral para evaluar cómo los LLMs interactúan con APIs en escenarios del mundo real. Al abordar las brechas actuales en la evaluación, crea una forma estructurada de analizar el rendimiento y, en última instancia, conduce a mejores herramientas para los usuarios. El banco de pruebas no solo mejora la comprensión de las capacidades de los modelos de lenguaje, sino que también promueve avances en las aplicaciones de LLM en varios dominios.