뉴로모픽 시스템을 위한 인수분해-프루닝 결합 기반 컨볼루셔널 레이어 압축 기법 (A Convolutional Layer Compression Method Combining Factorization and Pruning for Neuromorphic Systems)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 56권 / 3호 / 42 ~ 51페이지
· 저자명 : 정필용, 정재용

초록

학습 데이터가 충분하다면 딥 러닝(Deep learning)은 일반적으로 모델의 크기가 증가함에 따라 예측 성능이 향상되기 때문에 모델 크기가 계속해서 증가하는 추세이다. 연산 시간, 메모리 사용량, 스토리지 크기 등의 측면에서 대규모 모델의 효율성을 향상시키기 위해 모델 압축 방법을 적용할 수 있다. 이러한 모델 압축 방법은 일반적으로 GPU 및 CPU와 같은 프로세서에서 연구되어왔다. 본 논문에서는 뉴로모픽 컴퓨팅 시스템(Neuromorphic Computing System)을 위한 모델 압축 방법을 제안한다. 제안하는 방법은 컨볼루셔널 레이어(Convoltional layer)에 적용되며, 기존에 모델압축을 위해 사용되었던 프루닝(Pruning) 및 인수분해(Factorization)를 결합한 새로운 방법이다. 알렉스넷(AlexNet)에서 제안하는 방법을 이용한 실험결과는 컨볼루셔널 레이어의 압축에 따른 성능 저하를 최소화하며 파라미터 수를 10배까지 감소시킬 수 있음을 보여준다.

영어초록

The size of deep learning models continues to increase because the predictive performance of deep learning usually scales well with the model size if enough training data is provided. In order to improve the efficiency of the large models in terms of computational time, memory footprint, storage size, etc, model compression techniques can be applied. Most existing techniques are usually developed in the context of traditional processors such as GPUs and CPUs. This paper proposes a model compression technique for neuromorphic computing systems. The proposed method targets at convolutional layers and combine the two well-known methods, low-rank approximation and pruning, taking advantages of both. Our experimental results show that the proposed method can reduce the number of parameters in AlexNet up to 10X without significant loss of accuracy.

참고자료

· 없음