Avanços em Sistemas de Servimento de LLM

Grandes modelos de linguagem (LLMs) mudaram a maneira como pensamos sobre a oferta de aplicações de IA. Esses modelos foram uma vez construídos para lidar com solicitações uma de cada vez, mas agora podem lembrar informações de solicitações anteriores. Essa capacidade de lembrar é chamada de cache de contexto e é importante para melhorar a velocidade e a eficiência desses modelos.

#O que é Cache de Contexto?

O cache de contexto permite que o sistema mantenha certas informações na memória para que possam ser reutilizadas mais tarde. Por exemplo, se várias solicitações compartilharem um ponto de partida comum, o sistema pode manter essas informações à mão em vez de processá-las do zero toda vez. Isso é útil porque reduz a quantidade de trabalho necessária para gerar uma resposta, acelerando todo o processo.

#A Transição de Sistemas Sem Estado para Sistemas com Estado

Os sistemas de oferta de LLMs anteriores operavam de maneira sem estado. Cada solicitação era tratada como uma tarefa independente. No entanto, essa abordagem limitava o desempenho e a eficiência dos sistemas. Com os avanços na tecnologia, agora é possível criar sistemas com estado que podem lembrar informações de uma solicitação para outra. Essa transformação permite que o sistema utilize o cache KV, que contém dados produzidos durante a fase de trabalho do modelo.

#Tipos de Técnicas de Otimização

Ao trabalhar com LLMs, duas principais tipos de técnicas de otimização emergem: otimização entre solicitações e otimização intra-solicitação.

1. Otimização Entre Solicitações: Esse tipo analisa as relações entre diferentes solicitações. A técnica mais comum aqui é o cache de contexto. Ao lembrar informações de solicitações anteriores, o sistema pode responder a novas solicitações mais rapidamente.

2. Otimização Intra-Solicitação: Essa abordagem se concentra nos detalhes dentro de uma única solicitação. Ela divide a solicitação em partes menores que podem ser processadas separadamente. Isso facilita a gestão e pode levar a um melhor desempenho.

#A Necessidade de Novas Arquiteturas

À medida que construímos sistemas melhores para servir LLMs, torna-se claro que precisamos de novas arquiteturas que possam acomodar tanto otimizações entre solicitações quanto otimizações intra-solicitação. Sistemas tradicionais não são projetados para maximizar o uso das informações em cache.

#Introduzindo um Pool de Memória Elástica

Para enfrentar esses desafios, um novo design chamado Pool de Memória Elástica ajuda a gerenciar a memória e o cache de forma mais eficaz em diferentes instâncias. Esse pool de memória permite que diferentes instâncias de oferta compartilhem e reutilizem o cache KV, melhorando a eficiência.

#Como o Sistema Funciona

Esse sistema usa um conjunto de Interfaces de Programação de Aplicações (APIs) para gerenciar a memória. As APIs permitem que diferentes partes do sistema se comuniquem e compartilhem dados de forma eficaz. Ao utilizar essas APIs, o sistema pode melhorar o cache de contexto e garantir que cada parte funcione em conjunto de maneira suave.

#Testando o Novo Sistema

O desempenho do novo sistema pode ser avaliado comparando-o com sistemas tradicionais. Testes mostram que o uso do cache de contexto pode melhorar significativamente quanto tempo os trabalhos levam para serem concluídos e quão rapidamente o sistema pode gerar o primeiro token em uma resposta.

#A Importância da Eficiência de Custos

À medida que a tecnologia evolui, é crucial garantir que modelos de alta qualidade possam ser oferecidos sem custos enormes. Diferentes estratégias foram desenvolvidas para tornar a oferta desses modelos mais eficiente em termos de custo, focando no equilíbrio entre velocidade e despesa.

#Enfrentando Desafios Chave

Existem vários desafios para implementar sistemas de oferta de LLMs com estado:

1. Otimização Simultânea: Sistemas existentes muitas vezes têm dificuldade em aplicar otimizações entre solicitações e otimizações intra-solicitação ao mesmo tempo. Isso se deve principalmente à falta de mecanismos necessários para gerenciar o cache KV de forma eficaz.

2. Falta de Design Holístico: Muitos sistemas são construídos com a ideia de que o cache KV serve apenas uma única solicitação. Isso os impede de maximizar os benefícios dos dados compartilhados.

3. Gestão de Memória: À medida que os sistemas de oferta de LLMs evoluem, a gestão da memória torna-se mais complexa, especialmente ao tentar transferir informações em cache entre várias instâncias.

#Criando um Sistema Unificado

Para enfrentar esses desafios, uma abordagem unificada para a oferta de LLMs é proposta. O novo sistema permite que as otimizações entre solicitações e intra-solicitações funcionem juntas de forma contínua. Isso pode ser alcançado por meio do Pool de Memória Elástica, que gerencia a memória em diferentes instâncias.

#O Papel do Agendador Global

O agendador global é crucial para garantir que as solicitações sejam direcionadas à instância certa. Ele aplica políticas que levam em conta o cache histórico de solicitações anteriores. Dessa forma, o sistema pode tomar melhores decisões sobre onde enviar novas solicitações com base nas informações já disponíveis.

#Implementando Cache Eficiente

Para aproveitar ao máximo o cache de contexto, o sistema mantém uma forma estruturada de rastrear os dados preservados do cache KV. Isso envolve criar um índice que permite acesso rápido às informações armazenadas em cache.

#Gerenciando Memória Distribuída

Em um ambiente onde a memória é distribuída entre diferentes instâncias, o sistema deve garantir que cada instância possa se comunicar e compartilhar dados de forma eficaz. O Pool de Memória Elástica ajuda a gerenciar essa paisagem de memória distribuída, permitindo melhor transferência e uso dos dados.

#Avaliando o Desempenho

O novo sistema foi avaliado usando várias cargas de trabalho para entender sua eficácia. Isso incluiu medir o tempo de conclusão dos trabalhos, o tempo até o primeiro token e a taxa geral de transferência. Os resultados mostraram que os novos métodos poderiam melhorar o desempenho sob diferentes condições operacionais.

#Aprofundamento nas Cargas de Trabalho

Diferentes tipos de cargas de trabalho foram utilizados para testar o sistema:

1. ShareGPT: Um conjunto de dados contendo conversas que mostram dependências entre solicitações.

2. LooGLE: Focado na compreensão de documentos longos e compartilhando partes comuns entre solicitações.

3. ReAct: Uma estrutura de agente utilizada para raciocínio e ação com base na entrada do usuário.

#Padrões de Chegada

As solicitações foram simuladas com base em uma distribuição de Poisson para imitar padrões de uso do mundo real. Isso ajudou a entender como o sistema se comportaria sob cargas e frequências de solicitações variadas.

#Métricas de Desempenho

Para medir o desempenho do novo sistema de oferta, várias métricas-chave foram utilizadas:

• Tempo até o Primeiro Token (TTFT): Mede quão rapidamente o sistema pode fornecer o primeiro token de uma resposta.

• Tempo de Conclusão do Trabalho (JCT): Acompanha quanto tempo leva para concluir a solicitação inteira.

• Tempo por Token de Saída (TPOT): Avalia o tempo necessário para cada token após o primeiro ser gerado.

#Resultados dos Testes

Os testes mostraram que, ao usar inferência desagregada em vez do método tradicional, os tempos de conclusão dos trabalhos melhoraram significativamente. O sistema também conseguiu reduzir o tempo necessário para que o primeiro token fosse gerado, demonstrando a eficácia do novo design.

#O Modelo de Custo para Cache

Um modelo de custo foi desenvolvido para ajudar a decidir quando o cache de contexto é útil. Considerando vários fatores como carga de solicitações e disponibilidade de memória, o sistema pode tomar decisões informadas sobre quando armazenar dados em cache e quando recalcular.

#Políticas de Agendamento Global

O agendador global ajuda a decidir para onde direcionar solicitações com base nos dados disponíveis. Diferentes estratégias de agendamento foram testadas para determinar qual era mais eficaz em maximizar o desempenho. As melhores políticas foram aquelas que podiam reconhecer semelhanças entre solicitações, melhorando a reutilização do cache.

#Conclusão

Este novo sistema unificado representa um avanço significativo em como os LLMs podem ser oferecidos de maneira eficiente. Ao integrar o cache de contexto e a inferência desagregada, melhora o desempenho e a eficiência de custo na oferta de aplicações de IA. A combinação de um Pool de Memória Elástica com um agendador global e técnicas de cache otimizadas proporciona uma base sólida para futuros desenvolvimentos neste espaço. À medida que os LLMs continuam a evoluir, esses sistemas serão cruciais para gerenciar as complexidades da oferta de modelos de alta qualidade em grande escala.