Avanços em Transformers de Visão com ME-ViT

Transformadores de Visão (ViTs) viraram ferramentas importantes na classificação de objetos. Eles se destacam pela habilidade de analisar imagens e fazer previsões precisas. Mas usar ViTs traz desafios. Eles precisam de muito poder de computação e têm um número alto de parâmetros, o que torna difícil rodá-los em situações em tempo real. Isso gerou a necessidade de um hardware melhor que consiga lidar com essa carga de trabalho de forma eficiente.

#O Problema com o Hardware Atual

Muitas soluções de hardware que suportam ViTs enfrentam problemas com acesso à memória. Quando o sistema tem que puxar dados da memória externa com frequência, isso cria atrasos, reduzindo a velocidade com que as tarefas podem ser concluídas. Em dispositivos como FPGAs de borda, que têm largura de banda de memória limitada, isso se torna ainda mais complicado. Acesso excessivo à memória externa cria um gargalo, impedindo o desempenho máximo.

Para superar esses problemas, propomos uma nova solução: um acelerador FPGA Eficiente em Memória especificamente projetado para ViTs, que minimiza a quantidade de memória que precisa ser acessada.

#O Desenvolvimento do ME-ViT

O novo design, chamado ME-ViT, tem como objetivo acelerar a inferência de ViTs. Ele faz isso garantindo que os dados sejam carregados apenas uma vez e que todo o processamento aconteça da forma mais eficiente possível.

#Principais Características do ME-ViT

1. Política de Carga Única: Essa característica significa que os parâmetros do modelo só precisam ser carregados na memória uma vez. Quando os valores precisam ser reutilizados, eles ficam na memória interna, ajudando a reduzir as transferências de memória.

2. Armazenamento Intra-chip de Resultados Intermediários: Em vez de ficar escrevendo resultados de volta para a memória externa, os resultados intermediários permanecem na memória do dispositivo, o que permite um acesso mais rápido durante o processamento.

3. Todas as Operações em Um Elemento de Processamento: Mantendo todas as operações, como cálculos de matrizes e ativações, dentro de um único elemento de processamento, minimizamos a necessidade de transferências de dados externas.

4. Elemento de Processamento Eficiente em Memória (ME-PE): Essa unidade de processamento especial pode lidar com tarefas-chave do modelo ViT sem exigir memória excessiva. Ela utiliza buffers multiuso que permitem a reutilização eficiente de recursos, reduzindo a demanda geral de memória.

#Motivação por Trás do Design

Nossa motivação ao projetar o ME-ViT vem dos desafios enfrentados por implementações de ViT existentes. Embora muitas melhorias tenham sido feitas nos ViTs, como redução do tamanho do modelo e aprimoramento de algoritmos, a largura de banda de memória continua sendo uma limitação significativa.

Há uma lacuna clara entre as capacidades computacionais do hardware moderno como GPUs e suas velocidades de acesso à memória. Apesar dos ganhos significativos em poder de processamento, a largura de banda de memória não acompanhou, dificultando o bom desempenho dos ViTs em tarefas em tempo real.

#Desafios Técnicos

Construir uma arquitetura eficiente em memória traz desafios:

#Desafio 1: Gerenciamento do Tráfego de Memória

As grandes multiplicações de matrizes exigidas pelos ViTs frequentemente levam a leituras e gravações contínuas na memória externa. Isso não só consome muita largura de banda de memória, mas também pode desacelerar o processamento. Idealmente, todos os dados deveriam ser armazenados internamente para minimizar esse tráfego.

#Desafio 2: Lidar com Conexões Residual

As conexões residuais são cruciais nos ViTs, pois elas adicionam resultados de camadas anteriores às computações atuais. Isso significa que precisamos carregar dados anteriores ou mantê-los armazenados em algum lugar. Equilibrar a necessidade de velocidade com os recursos disponíveis é fundamental.

#Desafio 3: Reduzir a Comunicação com a CPU Host

Os designs atuais muitas vezes dependem da CPU para executar operações como Softmax e LayerNorm. Isso resulta em comunicação constante, que pode desacelerar o desempenho, especialmente durante cálculos maiores.

#Soluções Apresentadas no ME-ViT

Para lidar com esses desafios, o ME-ViT usa duas estratégias principais:

1. Política de Carga Única: Carregar dados da memória externa apenas uma vez, armazenando todo o resto internamente. Isso minimiza o tráfego de memória externa e aumenta a eficiência.

2. Buffers Multiuso: Esses buffers permitem que várias operações-chave para a inferência de ViT ocorram em uma única arquitetura. Isso reduz significativamente a necessidade de recursos adicionais.

#Avaliação de Desempenho

Testamos o ME-ViT no Xilinx Alveo U200, alcançando melhorias notáveis em largura de banda de memória e velocidade de processamento em comparação com soluções existentes.

#Melhoria na Largura de Banda de Memória

Usando tamanhos de matriz sistólica de 32 e 16, o ME-ViT demonstra melhorias de até 9.22 e 17.89 na largura de banda de memória, respectivamente.

#Eficiência Energética

Quando comparado a uma GPU típica e uma base FPGA, o ME-ViT mostra uma melhora significativa na eficiência energética, alcançando até 4.00 vezes melhor eficiência em comparação com GPUs.

#Arquitetura de Elemento de Processamento Múltiplo

Uma das características marcantes do ME-ViT é sua capacidade de implementar múltiplos elementos de processamento (PEs) na mesma placa. Isso permite um aumento na taxa de transferência, alcançando um desempenho melhor do que designs FPGA existentes.

#Entendendo os Transformadores de Visão

Transformadores de Visão são um tipo de rede neural projetada para análise de imagens. Eles usam mecanismos de autoatenção para processar dados e têm se saído excepcionalmente bem em tarefas como classificação de imagens e detecção de objetos.

#Como os ViTs Funcionam

Os ViTs pegam imagens, as dividem em pedaços menores ou patches, e processam isso como uma sequência de dados usando uma estrutura conhecida como Codificador Transformer. Dentro desse codificador, múltiplos componentes trabalham juntos, incluindo:

• Autoatenção Multi-Cabeça: Essa parte olha para diferentes partes dos dados de entrada ao mesmo tempo, permitindo que o modelo foque em vários aspectos da entrada.

• Perceptron de Múltiplas Camadas: Uma série de camadas que ajuda a fazer as previsões finais com base nos dados processados.

• Normalização de Camada: Isso ajuda a estabilizar o processo de aprendizado normalizando as entradas de certas camadas.

#Por Que FPGAs São Adequados para ViTs

Field Programmable Gate Arrays (FPGAs) são uma opção desejável para muitas tarefas de aprendizado de máquina porque podem ser personalizadas para atender a necessidades computacionais específicas. Elas permitem processamento paralelo e alocação eficiente de recursos, tornando-as uma forte candidata para rodar ViTs.

#Desafios com Implementações FPGA

Apesar de suas vantagens, implementar ViTs em FPGAs também enfrenta desafios. As altas demandas de memória dos Transformadores podem limitar seu desempenho, como visto em vários designs existentes.

Muitos desses designs ainda requerem acesso frequente à memória, o que pode engarrafar todo o sistema. O ME-ViT aborda esses problemas focando na eficiência de memória e na redução da frequência de transferência de dados.

#Multiplicação de Matrizes em FPGA

A multiplicação de matrizes é uma parte crucial da execução de ViTs, mas fazer isso em um FPGA requer planejamento cuidadoso. Designs eficientes podem levar a melhor desempenho com uso mínimo de recursos.

#Empacotamento de DSP

Usando o empacotamento de DSP, os FPGAs podem executar duas multiplicações ao mesmo tempo, levando a um processamento mais eficiente. Essa técnica permite um desempenho melhor nas tarefas de multiplicação de matrizes que são essenciais para o processamento de ViTs.

#Multiplicação de Matrizes MLP

O Perceptron de Múltiplas Camadas (MLP) exige um manejo especializado, pois suas matrizes de pesos podem ser grandes demais para gerenciar de forma eficiente de uma vez. Usando uma abordagem baseada em blocos, podemos dividir essas multiplicações em partes menores e gerenciáveis sem uso excessivo de memória.

#Conclusão

O ME-ViT representa um avanço significativo no campo dos Transformadores de Visão, oferecendo uma solução eficiente em memória para sua implementação em FPGA. Ao focar em minimizar o tráfego de memória e otimizar o uso de recursos, o ME-ViT permite um processamento mais rápido e maior eficiência energética em comparação com arquiteturas existentes.

À medida que o aprendizado de máquina continua a evoluir, as técnicas e abordagens desenvolvidas no ME-ViT podem servir como um trampolim para inovações futuras, não apenas em ViTs, mas também em outras áreas do deep learning. O desafio contínuo será levar essas ideias adiante, atendendo a modelos ainda maiores e tarefas mais complexas.