크로스바 기반의 뉴로모픽 시스템을 위한 그리디 인공 신경망 분할 알고리즘 (A Greedy Neural Network Partitioning Algorithmfor Crossbar-based Neuromorphic Computing Syste)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 56권 / 11호 / 22 ~ 30페이지
· 저자명 : 김충민, 정재용

초록

많은 연구를 통해 인공 신경망 기술을 가동하기 위한 플랫폼으로 뉴로모픽 시스템이 주목받고 있다. 하지만 뉴로모픽 시스템의 하드웨어 뉴런은 고정 된 시냅스의 수를 가지고 있으며, 인공 신경망의 많은 수의 커넥션을 가지는 퍼셉트론을 일대일로 맵핑하는 건 불가능하다. 따라서 퍼셉트론을 하드웨어 뉴런에 맵핑하기 위해서는 반드시 퍼셉트론이 분해되어야 한다. 퍼셉트론 분해는 네트워크의 예측성능과 뉴로모픽 시스템의 뉴런 사용량에 영향을 준다. 크로스바 기반에서는 퍼셉트론들의 독립적인 분해가 아닌 네트워크의 분해로써 바라봐야 하며 네트워크 분해는 네트워크의 커넥션을 파티셔닝하는 문제로 해결해야 한다. 따라서 본 논문에서는 동적 고정 소수점의 특성을 이용한 크로스바 기반의 뉴로모픽 시스템을 위한 그리디 인공 신경망 분할 알고리즘을 제안한다. 제안하는 방법은 네트워크의 레이어 별로 적용되며, 크로스바에 맵핑 될 수 있는 최적의 커넥션들을 최대한 많이 탐색하는 그리디한 알고리즘이며, 양자화 에러를 줄이기 위해 맵핑되는 커넥션의 스케일링 팩터를 동일하게 한다. 우리는 4가지 네트워크 Alexnet, VGG11, VGG13, VGG16에 대해 실험을 진행하였으며 동적 고정 소수점의 양자화를 통해 발생되는 정확도 손실을 아주 작은 수의 뉴런을 추가로 사용하여 줄일 수 있었다.

영어초록

Neuromorphic systems are attracting attention as a energy-efficient platform for neural network through many studies. However, the hardware neurons of the neuromorphic system have a fixed number of synapses, and it is impossible to map a perceptron of neural network with a large number of connections one-to-one. Therefore, in order to map a perceptron to a hardware neuron, the perceptron must be decomposed. Percetron decomposition affects the predictive performance of neral network and the neuron usage of the neuromorphic system. In this paper, we propose a greedy neural network partition algorithm for crossbar-based neuromorphic systems using dynamic-fixed point. The proposed algorithm is applied to each layer of the network. It is a greedy algorithm that finds the suitable connections that can be mapped to the crossbar as much as possible. To reduce the quantization error, the scaling factors of the mapped connections are restricted to be the same. we perform experiments on four network, Alexnet, VGG11, VGG13 and VGG16. we reduce the accuracy loss caused by weight quanzation by using a very small number of extra neurons.

참고자료

· 없음