모바일 디바이스에서 계층별 프로세서 할당을 통한 딥러닝 학습 가속 (Accelerating Deep Network Training with Layer-specific Processor Allocation on Mobile Devices)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 27권 / 6호 / 263 ~ 272페이지
· 저자명 : 하동휘, 권진세, 김형신

초록

딥러닝 개인화 응용은 사용자가 원하는 요구 사항에 맞게 딥러닝 모델을 재학습해야 한다. 기존의 모델 학습 방법은 서버에서 학습한 모델을 모바일 디바이스로 전송한다. 기존 방법은 개인 정보 유출, 서버 운용 비용 증가 등의 문제를 야기할 수 있다. 이런 문제를 해결하기 위해 모바일에서 딥러닝 학습 방법을 적용한다. 하지만, 모바일 디바이스는 자원이 부족하여 딥러닝 학습 수행이 어렵다. 본 논문에서는 모바일 CPU와 GPU를 효율적으로 사용하여 모바일 디바이스에서 딥러닝 학습 속도를 향상하는 시스템을 제안한다. 제안하는 시스템은 모델 계층별 연산 시간과 프로세서 간 데이터 전송 시간을 프로파일링한다. 프로파일링 결과를 토대로 동적 프로그래밍을 이용하여 프로세서를 탐색하고 각 계층에 최적의 프로세서를 할당한다. 3개의 카테고리로 이루어진 커스텀 데이터를 CIFAR-10 이미지로 사전 학습된 모델을 이용하여 전이 학습하였다. 제안하는 알고리즘을 ODROID-XU4와 Firefly RK3399 Plus에서 실험한 결과, 각각 25.7%, 3.2% 성능 향상을 확인하였다.

영어초록

With the recent development in deep learning, the application of personalization has increase. Personalized deep learning models require initial training according to the user requirements.
When the event of unseen data occurs, it is necessary to retrain and update the optimal model.
Traditional methods send personal data to servers to create a model and send it to mobile devices. In this process, problems, such as leakage of private data, excessive network traffic, and an increase in server operating costs, may occur. To solve this problem, on-device learning is a well-known approach. However, mobile devices lack hardware resources. In this paper, we propose a method to reduce the training time for a mobile device by effectively utilizing Central Processing Unit(CPU) and Graphic Processing Unit(GPU). The proposed system profiles the computing and data transfer time.
With the result of profiling and dynamic programming, the method searches the processor and allocates the optimal processor to each layer. Based on a pre-trained model with CIFAR-10, we apply transfer learning to train the custom data consisting of three categories faster than initial training.
With two mobile devices (ODROID-XU4 and Firefly RK3399 Plus), the proposed method reduces the execution time by 25.7% and 3.2%, respectively.

참고자료

· 없음