딥러닝 기반의 순방향 전파형 가중치 양자화 기법 (Forward-Propagating Weight Quantization Method based on Deep Learning)

서지정보

· 발행기관 : 한국엔터프라이즈아키텍처학회
· 수록지 정보 : 정보화연구 / 15권 / 2호 / 245 ~ 252페이지
· 저자명 : 주우정, 강상길

초록

여러 분야에서 뛰어난 성능을 보이는 딥러닝은 뉴럴 네트워크의 은닉 계층을 늘려 깊은 네트워크 구조를 형성할 수 있다. 이에 따라 복잡한 데이터를 쉽게 분류할 수 있으나, 가중치 수 증가로 인해 학습 연산량 및 메모리가 증가한다. 이처럼 많은 연산과 메모리가 필요한 딥러닝은 일반적으로 클라우드 상으로 학습하나, 클라우드는 사용자와의 통신상태가 원활해야 하며 서비스 비용에 대한 부담감 및 개인정보 유출에 대한 위험성을 가진다. 이러한 문제를 해결하기 위해서 딥러닝을 임베디드 디바이스에 탑재해야 하며 온디바이스 탑재를 위한 네트워크 경량화가 필요하다. 경량화 기법으로는 프루닝 기법과 양자화 기법이 널리 사용되고 있으며 기존 양자화 기법은 비지도 학습 중 하나인 K-means를 사용하여 각 계층의 가중치들을 군집화하여 대푯값을 결정한다. K-means 기법에서 군집의 개수를 의미하는 K는 시행착오 방법을 통해 설정해야 하며 이에 따른 오버헤드가 발생한다. 또한, 기존 양자화 기법은 네트워크 각 계층의 연결 관계를 무시한 채 독립적으로 양자화한다. 우리는 연산 오버헤드 문제를 해결하기 위해 가중치들의 통계적 정보를 이용한 즉각적 가중치 양자화 기법을 제안하고 네트워크 각 계층의 의존관계를 고려하여 순차 적으로 양자화함으로써 향상된 학습 성능을 보여준다.

영어초록

Deep learning, which has excellent performance in various fields, can form deep network structure by increasing hidden layer of neural network. Thus, complex data can be easily classified, but the amount of learning computation and memory increases due to increase of the number of weights. Deep learning, which requires a lot of computation and memory, usually is trained on cloud environments. However, the cloud environment must be maintained in good communication state with user and have burden on service cost and risk of leakage of personal information. To solve this problem, deep learning needs to be learnt on the embedded device, and be light-weighting. Pruning and quantization methods are widely used for the light-weighting. Existing quantization methods usually use K-means, one of the unsupervised learning methods, in order to determine representative values of clustering weights. In the K-means method, the number of groups is set through trial-and-error method, which results in the computation overhead. To alleviate the overhead, we propose an instant weight quantization method using statistical information of weights Also, it can improve learning performance by quantizing sequentially with considering the dependency between layers in the network.

참고자료

· 없음