이진화된 신경망을 위한 효율적인 학습 가속 시스템 (Efficient Training Acceleration System for Binary Neural Networks)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 1호 / 3 ~ 9페이지
· 저자명 : 류창호, 이형석, 김태환

초록

본 논문은 이진화된 신경망을 위한 효율적인 학습 가속 시스템을 FPGA에서 구현한 결과를 보인다. 신경망 학습에서는 Convolution 연산이 대부분의 시간을 차지하며, 이를 위한 전용의 Component를 도입하여 학습을 가속하였다. 이진화된 신경망 학습에서는 클리핑된 Weight의 부호가 거의 뒤집히지 않는다. 클리핑된 Weight를 최적화 대상에서 제외함으로써 관련된 연산을 제거하였다. 이를 통해 큰 정확도 저하 없이 학습을 가속하였다. 또한 역전파를 수행할 때 더 이상 사용하지 않는 Feature와 Gradient를 계속 저장하지 않기 위해 Parameter의 Gradient를 구하는 즉시 최적화함으로써 Memory 사용량 감소를 보인다. 제안하는 학습 가속 시스템은 순수 소프트웨어 구현 대비 약 89.6%의 학습 시간 단축을 달성하였다.

영어초록

This paper presents an efficient implementation of a training acceleration system for binary neural networks. As the convolution operations take up dominant time in training, a dedicated hardware component to perform the convolution operations is designed and integrated to the system. An efficient training algorithm is employed, where the parameters can be updated selectively to reduce the computations without degrading the performance. In addition, a novel method to manage the memory is proposed to maximize the memory reuse by reordering the training processes. In the proposed system, the overall training time is reduced by 89.6% in comparison to that of the software implementation.

참고자료

· 없음