AI 기반 모바일 서비스를 위한 딥러닝 모델 파티셔닝 기법 (DNN Model Partitioning in AI-Based Mobile Services)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 47권 / 6호 / 818 ~ 825페이지
· 저자명 : 임정아, 김영진

초록

최근 무선 네트워크 기술의 발전을 통해 모바일 단말에서 물체 인식 및 비디오 분석과 같은 실시간성 모바일비전 어플리케이션이 여러 분야에서 적용되고 있다. 이러한 어플리케이션은 높은 정확도의 딥러닝 모델을 사용하기 위하여 모바일 엣지 컴퓨팅 (MEC)을 활용하지만, 네트워크 비용 및 지연으로 인해 낮은 사용자 경험 품질(QoE)을 보인다. 이를 해결하기 위해서, 모바일 단말과 MEC 서버 사이 딥러닝 추론 연산을 레이어 단위로 나누는 딥러닝 모델 파티셔닝 기술이 주목받고 있다. 기존 연구는 모바일 비전 어플리케이션의 사용자 경험 품질 향상을 위하여 단대단 지연 시간, 에너지 소모, 추론 속도 (fps) 중 한 가지, 혹은 두 가지 지표만을 개선할 수 있는딥러닝 모델 파티셔닝 방법을 제시하였다. 본 연구에서는 위 세 가지 성능 개선지표의 향상을 위하여 1) 모델 파티션 포인트, 2) 입력 프레임 중 처리할 프레임 수, 3) 모바일 단말의 GPU 클럭 주파수를 제어하는 알고리즘을제안한다. 시뮬레이션 결과를 통해, 제안하는 방법이 동일 단대단 지연 시간에서 모바일 단말 단독 추론 알고리즘과 비교했을 때, 90.2%의 평균 에너지 소모 성능 개선을 보이고, MEC 서버 단독 추론 알고리즘과 비교했을 때, 91.8%의 처리 fps 성능 개선을 보임을 확인하였다.

영어초록

Through the advancement of wireless network technology, real-time mobile vision applications such as object detection and image analysis in mobile devices are being used in various fields. Such applications leverage mobile edge computing (MEC) to utilize high-accuracy deep learning models, but show low QoE due to network overhead. To tackle this, deep model partitioning has emerged that splits processing for inference between a mobile device and MEC server. Existing works proposed deep learning model partitioning algorithms to improve one or two metrics among end-to-end latency, energy consumption, and frame per second (fps) to enhance the QoE of mobile vision applications. In this paper, we propose an algorithm to jointly control (i) the model partitioing point, (ii) the number of frames to be processed among the input frames, and (iii) the GPU clock frequency of the mobile device to improve the performance of the above three metrics. With trace-driven simulation, we verify that our RT-DMP can save 90.2% of energy consumption than mobile processing algorithm, and improve processed fps by 91.8% compared to MEC algorithm.

참고자료

· 없음