인공신경망 모델 압축을 위한 적응적 양자화 기반 지식 증류 기법 (Knowledge Distillation Based on Adaptive Quantization for Artificial Neural Network Model Compression)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 57권 / 9호 / 37 ~ 43페이지
· 저자명 : 이조은, 한태희

초록

심층 신경망(Deep neural networks, DNNs)은 이미지 분류 및 컴퓨터 비전 등 다양한 응용 분야에서 활용되고 있다. 하지만 신경망의 심도 및 복잡성이 증가함에 따라 자원이 제한된 임베디드 시스템에서 심층 신경망 구현의 한계가 발생하고 있으며 이를 극복하기 위한 경량화 연구가 진행되고 있다. 이를 위해 신경망 파라미터의 정밀도를 감소시켜 모델을 압축하는 양자화(Quantization) 기법과 대규모 네트워크의 학습 데이터를 이용하여 소규모 네트워크를 훈련시키는 지식 증류(Knowledge distillation, KD) 기법이 등장하였다. 본 논문에서는 신경망 모델의 계산 복잡도와 스토리지 사용량을 최적화하기 위해 지식 증류에 양자화 기법을 접목시켜 데이터마다 정밀도를 개별적으로 처리하는 적응적 양자화 기반 지식 증류 기법을 제안한다. CIFAR10과 CIFAR100 데이터 셋에 대해 ResNet 모델로 실험한 결과, 제안하는 기법은 양자화 기법 대비 정확도가 증가했으며, 경량화를 진행하지 않은 모델 대비 신경망 모델 크기가 평균 69.29% 감소하였다.

영어초록

Deep neural networks (DNNs) have been used in various applications such as image classification and computer vision. However, as the depth and complexity of the neural networks increase, the limitation of deployment on resource-constrained environments like embedded systems occurs, and the research on compressing neural networks has been conducted. It includes the quantization technique that reduces the precision of neural network parameters and the knowledge distillation technique that trains a small network using training data of a large one. This paper focuses on knowledge distillation combining the quantization to optimize the computational complexity and storage usage of the neural network model. We propose an adaptive quantization-based knowledge distillation that processes the precision of each data according to the amount of value. As a result of experimenting with the ResNet model on CIFAR10 and CIFAR100 datasets, the proposed method had an average accuracy increase compared to the quantization method, and the neural network model size decreased by an average of 69.29% compared to the full-precision model.

참고자료

· 없음