Automatizando Modelos de Performance para Aceleradores DNN

Usar Redes Neurais Profundas (DNNs) em dispositivos pequenos é complicado. Esses aparelhos precisam de hardware especial pra funcionar bem. Saber como diferentes configurações se saem em tarefas de IA é super importante. Esse artigo compartilha uma ideia pra criar modelos rápidos que preveem quão rápido uma DNN vai rodar em configurações de hardware específicas.

A gente analisa vários tipos de Aceleradores DNN, incluindo alguns conhecidos e um design flexível chamado de matriz sistólica. Com nosso modelo, conseguimos prever como uma DNN funciona usando só um número pequeno de exemplos das computações reais, acelerando bem o processo. Nosso método é bem mais rápido e preciso do que os métodos tradicionais.

#Importância dos Dispositivos Edge

Os dispositivos edge estão bombando porque usam menos dados, respondem rápido, consomem menos energia e geralmente são mais baratos do que grandes centros de dados. À medida que mais empresas tentam construir melhores dispositivos edge que rodem DNNs, elas enfrentam o desafio de escolher o hardware certo para aplicações específicas. Muitos métodos existentes pra medir Desempenho demoram muito e não são adequados pra diferentes DNNs, criando a necessidade de uma nova solução.

Durante as fases iniciais de design do hardware, é essencial comparar rapidamente vários designs. As mudanças podem incluir de tudo, desde o número de unidades de processamento até diferentes caminhos de dados. No lado do software, têm estratégias diferentes pra otimizar como DNNs rodam no hardware escolhido. Pra facilitar e acelerar essa comparação, a gente propõe uma maneira automática de estimar como uma DNN vai funcionar em diferentes configurações.

#Visão Geral da Estimativa Automática de Desempenho

O objetivo desse trabalho é construir rapidamente modelos de desempenho precisos pra aceleradores DNN. A gente apresenta uma nova linguagem pra descrever arquiteturas de computador chamada ACADL. Essa linguagem ajuda a criar modelos pra vários tipos de configurações de hardware com diferentes opções.

Nosso método gera automaticamente um gráfico especial conhecido como o Gráfico de Dependência de Instruções Arquiteturais (AIDG). Esse gráfico mostra como as instruções funcionam juntas dentro da configuração de hardware. Essa é uma abordagem nova porque representa tanto o hardware quanto o software. Outros métodos geralmente focam apenas no lado do software ou do hardware.

A gente desenhou uma forma rápida de usar o AIDG pra calcular como as DNNs rodam nessas configurações de hardware. Em alguns casos, só precisamos analisar uma pequena parte de todas as instruções pra dar uma estimativa precisa, igualando a precisão de métodos que consomem mais recursos.

#Trabalho Relacionado

Muitos estudos tentaram prever o desempenho de DNNs em diferentes configurações de hardware. Esses estudos geralmente se dividem em duas categorias: modelos analíticos e modelos de machine learning. Ambos têm seus pontos fortes e fracos.

Alguns pesquisadores compararam diferentes métodos de machine learning pra estimar o desempenho de DNNs em GPUs. Eles coletaram uma grande quantidade de dados pra treinar seus modelos. Outros focaram em medir o desempenho de configurações específicas usando DNNs criados especialmente e analisaram seu tempo de execução.

Existem ferramentas como Timeloop e Aladdin que buscam fornecer estimativas de desempenho através de diferentes abordagens. Porém, nosso método se destaca porque combina sistematicamente a modelagem de arquiteturas com uma estimativa de desempenho que pode ser aplicada a várias configurações sem precisar de muitos dados de treinamento.

#Método Proposto

#Visão Geral do Novo Método

A base do nosso método é o ACADL, uma linguagem que nos permite modelar várias configurações de hardware. Ao descrever um acelerador nessa linguagem, a gente consegue gerar as instruções necessárias pras DNNs.

Cada uma dessas instruções é analisada pra construir o AIDG. Esse gráfico direcionado é crucial porque capta como as instruções se movem pelo hardware, revela conflitos e rastreia dependências. O AIDG é avaliado de uma forma que ajuda a calcular a velocidade total da execução da DNN.

A gente considera um exemplo específico de uma matriz sistólica em cada seção do nosso método. Os passos incluem:

1. Modelando o Acelerador: A gente cria uma descrição básica da arquitetura do hardware.
2. Mapeando DNNs pro Hardware: A gente gera instruções com base em como as DNNs podem rodar na configuração de hardware.
3. Avaliação de Desempenho: A gente analisa o AIDG pra estimar o desempenho com base nas instruções geradas.

#A Linguagem de Descrição de Arquitetura de Computador Abstrata (ACADL)

A comunicação sobre arquiteturas de computador geralmente acontece com diagramas de blocos. No entanto, eles podem ficar complexos e exigem conhecimento especializado. O ACADL oferece uma forma mais simples e orientada a objetos de descrever componentes arquiteturais.

No ACADL, a gente define várias classes e suas relações e dependências. Usando essa linguagem, podemos construir modelos que representam como as instruções interagem com diferentes componentes de hardware ao longo do tempo. Isso permite modelar designs complexos sem precisar de muito conhecimento em hardware.

Os diagramas de classe ACADL descrevem partes essenciais das arquiteturas, mostrando como os dados se movem e como as instruções são executadas. Cada classe tem seus atributos, métodos e relações únicas com outras, tornando-a uma forma flexível de representar e manipular hardware.

#Fluxo de Trabalho de Modelagem

Criar o AIDG começa com a definição de um diagrama de objeto ACADL. Existem dois métodos pra coletar esse diagrama:

1. Modelagem de Cima pra Baixo: Essa abordagem é melhor pra novos designs de hardware e constrói um modelo de alto nível baseado nas capacidades desejadas e na estrutura.
2. Modelagem de Baixo pra Cima: Esse método usa conhecimento de hardware existente e detalhes de diagramas de blocos arquitetônicos pra gerar o diagrama de objeto ACADL.

Essa flexibilidade na abordagem permite que os desenvolvedores escolham o método que melhor se encaixa no seu contexto.

#Exemplos de Modelagem

A gente mostra dois designs de exemplo pra ilustrar como o ACADL funciona:

• Matriz Sistólica: Uma estrutura simples onde cada unidade de processamento realiza operações básicas. Esse design é uma ótima introdução ao ACADL, já que pode ser modelado com instruções escalares.
• Acelerador UltraTrail: Uma configuração mais complexa focada em processamento de baixo consumo. Esse modelo mostra como diferentes componentes de hardware podem ser combinados no ACADL pra criar um design funcional.

#Estimativa de Desempenho Usando AIDG

O AIDG ajuda a estimar o desempenho das DNNs na arquitetura modelada. Avaliando o AIDG, conseguimos determinar a latência de ponta a ponta da execução das instruções da DNN mapeadas no hardware.

O processo envolve ordenar as instruções em uma ordem topológica. Cada nó no AIDG representa quando uma instrução ocupa hardware. A gente avalia as relações e dependências entre esses nós pra conseguir uma estimativa de desempenho precisa.

A latência total pode ser derivada da análise de como as instruções interagem e quantos recursos estão disponíveis ao longo do processo de execução.

#Latência de Ponta a Ponta para Camadas DNN

Em uma execução típica de DNN, várias iterações acontecem em um pipeline. No entanto, essas iterações podem se sobrepor, o que complica as previsões de tempo. É essencial considerar como iterações anteriores influenciam o tempo das iterações subsequentes pra ter uma estimativa precisa.

A gente usa o AIDG pra entender como as iterações sobrepostas afetam a velocidade de execução das camadas DNN. Nosso método captura os diferentes tempos de execução e dependências, resultando em previsões mais precisas.

#Resultados e Avaliações

Pra avaliar a eficácia do nosso novo método, aplicamos ele em quatro arquiteturas de aceleradores diferentes. Comparamos nossas previsões com benchmarks estabelecidos pra determinar a precisão do nosso método.

Pra cada acelerador, medimos o quanto nossas estimativas se alinham com os valores reais obtidos de simulações. Essa comparação mostra que, enquanto modelos tradicionais precisam de muito tempo e dados, nosso método mantém alta precisão com menos complexidade.

#Avaliando Diferentes Arquiteturas

A gente modela e avalia as seguintes arquiteturas:

1. UltraTrail: Conseguimos estimativas de desempenho excelentes que se aproximam bastante da verdade real pra DNNs específicas.
2. Gemmini: Vemos como nosso método se sai em comparação com modelos analíticos tradicionais. Nossas previsões mostram consistentemente maior precisão.
3. Matrizes Sistólicas Parametrizáveis: A estimativa pra diferentes tamanhos gera resultados robustos, com nosso método superando modelos baseados em regressão sem grandes conjuntos de dados de treinamento.
4. Designs derivados de Plasticine: Essa arquitetura demonstra a flexibilidade e escalabilidade do nosso método, permitindo uma exploração rápida do espaço de design.

#Conclusão

Nosso trabalho entrega um método rápido e automático pra criar modelos de desempenho pra aceleradores DNN. Usar o ACADL pra descrever diferentes arquiteturas e o AIDG pra estimar desempenho oferece uma solução abrangente pra combinar DNNs com configurações de hardware.

Essa abordagem permite uma avaliação rápida de vários designs, facilitando a escolha do hardware certo pra tarefas de IA específicas. Ao simplificar o processo de estimativa de desempenho, ajudamos engenheiros a otimizar seus designs de forma eficaz, economizando tempo e recursos no desenvolvimento de dispositivos de IA edge.

No fim das contas, nosso trabalho vai contribuir pra melhorar o desempenho em aplicações de IA edge, permitindo soluções mais rápidas e eficientes pra necessidades tecnológicas futuras.