소형 네트워크에서 배치 정규화의 스케일링 인자를 활용한 채널 프루닝 (Channel Pruning using Scaling Factor of Batch Normalization in Compact Networks)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 56권 / 3호 / 52 ~ 58페이지
· 저자명 : 최재훈, 김대영, 양동원, 이준희, 김도경, 김창익

초록

기존의 합성곱 신경망 기반의 딥러닝 모델은 데이터가 크고 연산량이 많기 때문에 실제 응용분야에 적용하는데 어려움이 있다. 이러한 한계를 극복하기 위해 소형 네트워크인 MobileNet, MobileNetV2 개발되고 있다. 그러나 위 소형 네트워크 역시 임베디드 시스템에 적용하는데 불필요한 연산량이 많다. 따라서 실제 환경에서 요하는 소규모 클래스의 객체 분류를 효율적으로 수행하기 위해서는 소형화된 딥러닝 모델을 추가적으로 경량화할 필요가 있다. 본 논문에서는 효율적인 객체 분류를 위해 MobileNet, MobileNetV2의 채널을 프루닝하여 네트워크를 경량화하는 방법을 제안한다. Network Slimming에서 이용하는 배치 정규화의 스케일링 인자를 기반으로 소형 네트워크의 채널을 프루닝한다. 또한, 소규모 클래스의 객체 분류 성능을 확인하기 위해 사람, 차량, 이외의 기타 데이터로 이루어진 데이터 셋으로 구성하였다. 위 데이터 셋과 CIFAR, SVHN 데이터 셋에서 제안하는 알고리즘을 적용하였을 때, 분류 성능은 유지하면서 모델의 데이터의 크기와 연산량이 줄어드는 것을 확인할 수 있었다.

영어초록

The existing convolutional neural network-based deep learning models are difficult to apply to real-world applications due to its large data size and high computational complexity. To overcome these limitations, compact networks such as MobileNet and MobileNetV2 are proposed. However, these compact networks still have redundant parameters that can be pruned in an embedded system. Therefore, in order to classify objects into a small number of classes required in a real environment, it is necessary to study on the lightening deep learning models. In this paper, we propose a method to lighten the network by pruning channels of MobileNet and MobileNetV2, which are representative compact networks for efficient object classification. We prune the channel of the compact networks based on the scaling factor of the batch normalization used in Network Slimming. We also constructed a dataset consisting of people, vehicles, and other data to evaluate the object classification performance of a small class. We can confirm the proposed algorithm reduces the model size and the computational complexity while maintaining the classification performance in the above dataset, CIFAR, and SVHN datasets.

참고자료

· 없음