Avances en los sistemas de servicio de LLM

Los modelos de lenguaje grande (LLMs) han cambiado la forma en que pensamos sobre la prestación de aplicaciones de IA. Estos modelos fueron diseñados anteriormente para manejar solicitudes una a la vez, pero ahora pueden recordar información de solicitudes anteriores. Esta capacidad de recordar se llama almacenamiento en caché de contexto y es importante para mejorar la velocidad y la eficiencia de estos modelos.

#¿Qué es el Almacenamiento en Caché de Contexto?

El almacenamiento en caché de contexto permite al sistema mantener ciertas piezas de información en la memoria para que puedan reutilizarse más tarde. Por ejemplo, si varias solicitudes comparten un punto de partida común, el sistema puede mantener esa información a mano en lugar de procesarla desde cero cada vez. Esto es útil porque reduce la cantidad de trabajo necesario para generar una respuesta, acelerando todo el proceso.

#El Cambio de Sistemas Sin Estado a Sistemas Con Estado

Los sistemas de prestación de LLM anteriores operaban de manera sin estado. Cada solicitud se trataba como una tarea independiente. Sin embargo, este enfoque limitó el rendimiento y la eficiencia de los sistemas. Con los avances en tecnología, ahora es posible crear sistemas con estado que pueden recordar información de una solicitud a otra. Esta transformación permite que el sistema utilice la caché KV, que contiene datos producidos durante la fase de trabajo del modelo.

#Tipos de Técnicas de Optimización

Al trabajar con LLM, surgen dos tipos principales de técnicas de optimización: optimización inter-solicitud y optimización intra-solicitud.

1. Optimización Inter-Solicitud: Este tipo examina las relaciones entre diferentes solicitudes. La técnica más común aquí es el almacenamiento en caché de contexto. Al recordar información de solicitudes pasadas, el sistema puede responder a nuevas solicitudes más rápidamente.

2. Optimización Intra-Solicitud: Este enfoque se centra en los detalles dentro de una única solicitud. Divide la solicitud en partes más pequeñas que pueden procesarse por separado. Esto facilita la gestión y puede conducir a un mejor rendimiento.

#La Necesidad de Nuevas Arquitecturas

A medida que construimos mejores sistemas para servir LLM, queda claro que necesitamos nuevas arquitecturas que puedan acomodar tanto optimizaciones inter-solicitud como intra-solicitud. Los sistemas tradicionales no están diseñados para maximizar el uso de la información en caché.

#Presentando un Pool de Memoria Elástico

Para abordar estos desafíos, un nuevo diseño llamado Pool de Memoria Elástico ayuda a gestionar la memoria y la caché de manera más efectiva entre diferentes instancias. Este pool de memoria permite que diferentes instancias de servicio compartan y reutilicen la caché KV, mejorando la eficiencia.

#Cómo Funciona el Sistema

Este sistema utiliza un conjunto de Interfaces de Programación de Aplicaciones (APIs) para gestionar la memoria. Las APIs permiten que diferentes partes del sistema se comuniquen y compartan datos de manera efectiva. Al utilizar estas APIs, el sistema puede mejorar el almacenamiento en caché de contexto y garantizar que cada parte funcione juntas sin problemas.

#Probando el Nuevo Sistema

El rendimiento del nuevo sistema se puede evaluar comparándolo con sistemas tradicionales. Las pruebas muestran que el uso del almacenamiento en caché de contexto puede mejorar significativamente cuánto tiempo tardan los trabajos en completarse y qué tan rápido puede el sistema generar el primer token en una respuesta.

#La Importancia de la Eficiencia en Costos

A medida que la tecnología evoluciona, es crucial garantizar que los modelos de alta calidad puedan ser servidos sin costos enormes. Se han desarrollado diferentes estrategias para hacer que la prestación de estos modelos sea más eficiente en costos, centrándose en el equilibrio entre velocidad y gastos.

#Abordando Desafíos Clave

Hay varios desafíos para implementar sistemas de servicio LLM con estado:

1. Optimización Simultánea: Los sistemas existentes a menudo tienen dificultades para aplicar optimizaciones inter-solicitud e intra-solicitud al mismo tiempo. Esto se debe principalmente a la falta de mecanismos necesarios para gestionar la caché KV de manera efectiva.

2. Falta de Diseño Holístico: Muchos sistemas se construyen con la idea de que la caché KV solo sirve a una única solicitud. Esto les impide maximizar los beneficios de los datos compartidos.

3. Gestión de la Memoria: A medida que los sistemas de servicio LLM evolucionan, la gestión de la memoria se vuelve más compleja, especialmente al intentar transferir información en caché a través de varias instancias.

#Creando un Sistema Unificado

Para abordar estos desafíos, se propone un enfoque unificado para el servicio LLM. El nuevo sistema permite que las optimizaciones inter-solicitud e intra-solicitud funcionen juntas sin problemas. Esto se puede lograr a través del Pool de Memoria Elástico, que gestiona la memoria entre diferentes instancias.

#El Papel del Programador Global

El programador global es crucial para garantizar que las solicitudes se encaminen a la instancia correcta. Aplica políticas que tienen en cuenta la caché histórica de solicitudes anteriores. De esta manera, el sistema puede tomar mejores decisiones sobre dónde enviar nuevas solicitudes en función de la información que ya está disponible.

#Implementando Almacenamiento en Caché Eficiente

Para aprovechar al máximo el almacenamiento en caché de contexto, el sistema mantiene una forma estructurada de rastrear los datos de caché KV preservados. Esto implica crear un índice que permite un acceso rápido a la información en caché.

#Manejo de la Gestión de Memoria Distribuida

En un entorno donde la memoria está distribuida entre diferentes instancias, el sistema debe asegurarse de que cada instancia pueda comunicarse y compartir datos de manera efectiva. El Pool de Memoria Elástico ayuda a gestionar este paisaje de memoria distribuida, permitiendo una mejor transferencia y uso de datos.

#Evaluando el Rendimiento

El nuevo sistema se evaluó utilizando varias cargas de trabajo para entender su efectividad. Esto incluyó medir el tiempo de finalización de trabajos, el tiempo hasta el primer token y el rendimiento general. Los resultados mostraron que los nuevos métodos podrían mejorar el rendimiento en diferentes condiciones operativas.

#Profundizando en Cargas de Trabajo

Se utilizaron diferentes tipos de cargas de trabajo para probar el sistema:

1. ShareGPT: Un conjunto de datos que contiene conversaciones que muestran dependencias entre solicitudes.

2. LooGLE: Se centró en la comprensión de documentos largos y compartir partes comunes entre solicitudes.

3. ReAct: Un marco de agente utilizado para razonar y actuar en función de la entrada del usuario.

#Patrones de Llegada

Las solicitudes se simularon basándose en una distribución de Poisson para imitar patrones de uso del mundo real. Esto ayudó a entender cómo se comportaría el sistema bajo diversas cargas y frecuencias de solicitud.

#Métricas de Rendimiento

Para medir el rendimiento del nuevo sistema de servicio, se utilizaron varias métricas clave:

• Tiempo hasta el Primer Token (TTFT): Mide qué tan rápido puede el sistema proporcionar el primer token de una respuesta.

• Tiempo de Finalización del Trabajo (JCT): Rastrea cuánto tiempo tarda en completarse toda la solicitud.

• Tiempo por Token de Salida (TPOT): Evalúa el tiempo tomado para cada token después de que se genera el primero.

#Resultados de las Pruebas

Las pruebas mostraron que cuando se utilizó inferencia desagregada en lugar del método tradicional, los tiempos de finalización de trabajos mejoraron significativamente. El sistema también pudo reducir el tiempo que tardó en generarse el primer token, demostrando la efectividad de la nueva arquitectura.

#El Modelo de Costos para Almacenamiento en Caché

Se desarrolló un modelo de costos para ayudar a decidir cuándo el almacenamiento en caché de contexto es útil. Al considerar varios factores como la carga de solicitudes y la disponibilidad de memoria, el sistema puede tomar decisiones informadas sobre cuándo almacenar datos en caché y cuándo recalcular.

#Políticas de Programación Global

El programador global ayuda a decidir hacia dónde encaminar las solicitudes basándose en los datos disponibles. Se probaron diferentes estrategias de programación para determinar cuál era la más efectiva para maximizar el rendimiento. Las mejores políticas eran aquellas que podían reconocer similitudes entre solicitudes, mejorando la reutilización de la caché.

#Conclusión

Este nuevo sistema unificado representa un avance significativo en la forma en que se pueden servir los LLM de manera eficiente. Al integrar el almacenamiento en caché de contexto y la inferencia desagregada, mejora el rendimiento y la rentabilidad de la prestación de aplicaciones de IA. La combinación de un Pool de Memoria Elástico con un programador global y técnicas de almacenamiento en caché optimizadas proporciona una base sólida para futuros desarrollos en este espacio. A medida que los LLM continúan evolucionando, estos sistemas serán cruciales para gestionar las complejidades de servir modelos de alta calidad a gran escala.