Simple Science

Ciência de ponta explicada de forma simples

# Informática# Arquitetura de Hardware# Inteligência Artificial# Tecnologias emergentes

Avanços em Computação em Memória com Processamento Estocástico

Novos métodos melhoram a eficiência em redes neurais profundas, reduzindo o consumo de energia e aumentando a velocidade.

― 5 min ler


Avanço na ComputaçãoAvanço na ComputaçãoEficienteprocessamento.e aumentam a velocidade deNovos métodos cortam custos de energia
Índice

A computação em memória (IMC) é um método que ajuda a acelerar o processamento de Redes Neurais Profundas (DNNs). Normalmente, as DNNs precisam fazer muitos cálculos, principalmente para reconhecimento de imagem. Um dos principais desafios das técnicas de computação tradicionais é que os dados precisam muitas vezes se mover de um lado para o outro entre a memória e as unidades de processamento, o que pode atrasar as coisas. A IMC tenta resolver esse problema juntando memória e computação em um só lugar.

O Problema com os Conversores Analógico-Digitais (ADCs)

Embora a IMC tenha um potencial incrível, muitas vezes depende de conversores analógico-digitais (ADCs) para transformar sinais analógicos em digitais. Infelizmente, esses ADCs consomem muita energia e ocupam muito espaço no hardware. Eles podem representar uma parte significativa da energia e da área utilizada nos sistemas de IMC, criando um gargalo que atrasa tudo.

Uma Nova Abordagem: Processamento Estocástico

Para enfrentar o problema dos ADCs, foi proposta uma nova técnica chamada processamento estocástico. Essa técnica usa certos tipos de dispositivos conhecidos como junções magnéticas de torque spin-órbita (SOT-MTJs), que funcionam de forma eficiente sem precisar de ADCs. Processando os dados de uma maneira estocástica, esses dispositivos podem ajudar a reduzir o consumo de energia e tornar o processo de computação mais rápido.

Treinando Modelos com Processamento Estocástico

Uma preocupação ao usar processamento estocástico é que isso pode afetar a precisão das DNNs. Para resolver isso, os pesquisadores desenvolveram métodos de treinamento que focam em manter a precisão enquanto utilizam o processamento estocástico. Eles integraram isso no processo de treinamento para que os modelos possam aprender a funcionar bem com a nova configuração de hardware.

Testando o Novo Método

O novo processo foi testado em um conjunto de dados popular chamado CIFAR-10, que é frequentemente usado para medir como os modelos conseguem classificar imagens. Os resultados mostraram melhorias enormes em velocidade e eficiência. Por exemplo, o novo método conseguiu até 22 vezes menos consumo de energia, 30 vezes um processamento mais rápido e 142 vezes menos área em comparação com métodos tradicionais usando ADCs padrão.

Analisando os Ganhos de Eficiência

Os ganhos de eficiência podem ser atribuídos a alguns fatores chave. Eliminando a necessidade de ADCs, mais espaço e energia são economizados. Além disso, os novos métodos de treinamento garantem que os modelos ainda possam ter um desempenho preciso, mesmo com o novo estilo de processamento. Isso significa que as DNNs podem rodar muito mais rápido sem sacrificar a qualidade dos resultados.

MTJ Estocástico: Como Funciona

Os SOT-MTJs operam com base no princípio da troca probabilística. Isso significa que eles podem mudar seu estado com base na corrente que recebem. O design simplifica o circuito geral, permitindo um processo mais compacto e eficiente. À medida que esses dispositivos mudam de estado, eles conseguem representar dados binários de forma eficaz sem precisar de ADCs complexos.

Impactos no Hardware e no Design

O novo design não só melhora a eficiência, mas também melhora a escalabilidade dos componentes de hardware. Isso significa que os sistemas podem lidar com cargas de dados maiores mais facilmente. O design simplificado dos SOT-MTJs também significa que precisa de menos espaço em chips, permitindo arranjos mais compactos de unidades de memória e de processamento juntas.

Otimização em Camadas

Para refinar ainda mais os modelos, os pesquisadores exploraram como diferentes camadas da DNN poderiam usar diferentes níveis de quantização, ou representação em bits. Por exemplo, a primeira camada, que geralmente faz a maior parte do trabalho pesado em termos de cálculos, poderia se beneficiar bastante da nova abordagem estocástica. Usando várias amostras para garantir precisão, a primeira camada poderia melhorar seu desempenho enquanto se torna mais eficiente em termos de energia.

Mais Testes e Resultados

Em testes adicionais, várias configurações do novo método foram avaliadas em comparação com configurações tradicionais. Os resultados continuaram a mostrar que o novo sistema não só igualou como muitas vezes superou o desempenho dos métodos antigos. Isso destaca o potencial da abordagem estocástica em tornar as DNNs mais práticas para várias aplicações.

Aplicações no Mundo Real

Os avanços feitos com o processamento estocástico e os SOT-MTJs abrem possibilidades para seu uso em aplicações do mundo real. Isso pode abranger várias áreas, incluindo imagem médica, veículos autônomos e outras áreas onde um processamento rápido e confiável é crucial. Com a demanda por sistemas de IA mais poderosos crescendo, métodos como esses podem desempenhar um papel vital para atender a essas necessidades.

Conclusão: O Futuro da IMC

A integração do processamento estocástico na computação em memória representa um avanço significativo em como as DNNs podem ser executadas de maneira eficiente. Ao simplificar os requisitos de hardware e reduzir o consumo de energia, essa abordagem pode ajudar a tornar a tecnologia avançada de IA mais acessível e prática. À medida que a pesquisa avança, o potencial para mais melhorias é promissor, sugerindo um futuro brilhante para essa tecnologia.

Fonte original

Título: StoX-Net: Stochastic Processing of Partial Sums for Efficient In-Memory Computing DNN Accelerators

Resumo: Crossbar-based in-memory computing (IMC) has emerged as a promising platform for hardware acceleration of deep neural networks (DNNs). However, the energy and latency of IMC systems are dominated by the large overhead of the peripheral analog-to-digital converters (ADCs). To address such ADC bottleneck, here we propose to implement stochastic processing of array-level partial sums (PS) for efficient IMC. Leveraging the probabilistic switching of spin-orbit torque magnetic tunnel junctions, the proposed PS processing eliminates the costly ADC, achieving significant improvement in energy and area efficiency. To mitigate accuracy loss, we develop PS-quantization-aware training that enables backward propagation across stochastic PS. Furthermore, a novel scheme with an inhomogeneous sampling length of the stochastic conversion is proposed. When running ResNet20 on the CIFAR-10 dataset, our architecture-to-algorithm co-design demonstrates up to 16x, 8x, and 10x improvement in energy, latency, and area, respectively, compared to IMC with standard ADC. Our optimized design configuration using stochastic PS achieved 130x (24x) improvement in Energy-Delay-Product compared to IMC with full precision ADC (sparse low-bit ADC), while maintaining near-software accuracy at various benchmark classification tasks.

Autores: Ethan G Rogers, Sohan Salahuddin Mugdho, Kshemal Kshemendra Gupte, Cheng Wang

Última atualização: 2024-11-08 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2407.12378

Fonte PDF: https://arxiv.org/pdf/2407.12378

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes