딥러닝 모델의 압축 방법에 따른 엣지 장치에서의성능 평가 연구 (A Study on the Performance Evaluation of Edge Device according to the Compression Method of Deep Learning Model)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 58권 / 6호 / 50 ~ 60페이지
· 저자명 : 최진욱, 최수혁, 정은성

초록

강력한 GPU 기반의 컴퓨팅 자원을 바탕으로, 우수한 성능의 딥러닝 모델이 대거 출현하였다. 해당 모델들을 컴퓨팅 자원이 충분하지 않은 IoT/Edge device 환경에 적용하기 위해 모델 압축(model compression) 기법의 필요성이 증가하고 있다. 본 논문에서는 Tensorflow 2 Framework의 ImageNet으로 학습된 Resnet50, VGG19 Model을 전이 학습을 이용하여 CIFAR-10 Dataset으로 재학습시킨 후, 모델 압축 기법 중 지식 증류(Knowledge Distillation), 가중치 가지치기(Weight Pruning), 양자화(Quantization)의 3가지 기법을 활용하여 모델 압축 전/후 성능을 비교하였다. 모델 크기와 한 이미지 당 처리 시간, 정확도를 단일 GPU를 통해 GPU 서버와 NVIDIA Jetson Nano 환경에서 측정 후 비교하여, 각 기법에 대한 장단점을 분석했다. 지식 증류 기법은 student 모델에 의해 모델의 크기와 inference 실행 시간이 결정이 되지만, 학습량이 정확도에 미치는 영향이 크다는 것을 알 수 있었다. 가중치 가지치기 기법은 제거되는 가중치의 sparsity에 의해 정확도 및 모델의 크기가 결정이 된다. 마지막 양자화 기법은 파일사이즈의 높은 압축률과 정확도를 보였다. 하지만, inference 시간이 다른 모델 압축 기법에 비해 확연히 길어지며, 양자화 인식 훈련을 거치지 않고 훈련 후 양자화만 적용하였을 때, 충분한 정확도가 나온다면 양자화 인식 훈련은 오히려 정확도의 감소를 야기할 수 있다는 단점을 보였다.

영어초록

Based on robust GPU-based computing resources, a large number of high-performance deep learning models have emerged. There is an increasing need for model compression techniques to apply these models to IoT/Edge device environments without sufficient computing resources. This paper retrained the ResNet50 and VGG19 models trained with ImageNet dataset in the Tensorflow 2 Framework with CIFAR-10 dataset using transfer learning. We then utilized three model compression techniques (Knowledge Distillation, Weight Pruning, and Quantization) for comparative study. In the knowledge distillation technique, the size and reference execution time of the model was determined by the student model, whereas the learning volume had a large impact on accuracy. In the weight pruning technique, the sparsity of the weights determined accuracy and model size. The quantization technique showed a high compression rate of file size and accuracy, but the inference time is significantly longer than other model compression techniques. Suppose we can achieve sufficient accuracy when only quantization is applied after training without going through quantization recognition training. In that case, quantization recognition training may be unnecessary and may even lead to a decreased accuracy.

참고자료

· 없음