심층 신경망을 위한 클러스터링 기반 모델 압축 기법 (Clustering-based Model Compression Method for Deep Neural Networks)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 13권 / 11호 / 585 ~ 589페이지
· 저자명 : 채병철, 허선영

초록

온-디바이스 머신러닝은 비용 효율성, 데이터 프라이버시, 응답성 측면에서의 강점으로 인해 점차 인기를 얻고 있다. 그러나 소형 임베디드시스템에서는 메모리 용량이 제한적이기 때문에 심층 신경망 모델을 처리하기 쉽지 않다. 이전 연구에서는 양자화나 가지치기와 같은 다양한 모델압축 기법들을 제안하였다. 그러나 이러한 기법들은 일반적으로 압축으로 인한 정확도 손실을 최소화하기 위해 적절한 데이터 샘플을 사용한 세심한미세 조정을 필요로 한다. 본 연구에서는 유사한 컨볼루션 커널을 클러스터링하고 가지치기하여 입력 모델을 압축하는 새로운 훈련 후 모델 압축방법을 제안한다. 본 연구에서 제안된 방법은 커널 간의 유사성만을 고려하므로 데이터 샘플을 필요로하지 않는다. 본 연구는 대표적인 신경망모델을 사용하여 제안된 방법을 평가하고 적은 정확도 손실로도 메모리 사용량을 효과적으로 줄일 수 있다는 것을 입증한다.

영어초록

On-device machine learning is becoming more popular for its strengths in cost efficiency, data privacy, and responsiveness. However,processing deep neural network models on small embedded systems is challenging due to their limited memory capacity. Previous workhas proposed various model compression techniques, such as quantization and pruning. However, the techniques generally require carefulfine-tuning with proper data samples to minimize accuracy loss from compression. This work proposes a new post-training modelcompression method that compresses the input model by clustering and pruning similar convolution kernels. The proposed method doesnot require data samples because it considers the similarity between kernels only. This work evaluates the proposed method withrepresentative neural network models and demonstrates that the method can effectively reduce memory usage on average with smallaccuracy loss.

참고자료

· 없음