오버헤드 최소화를 통한 임베디드 GPU 환경에서 멀티 DNN 추론 성능 향상 (Improving Multi-DNN Inference Performance under Embedded GPU Environments with Overhead Minimization)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 58권 / 10호 / 27 ~ 34페이지
· 저자명 : 임철순, 김명선

초록

기존 임베디드 시스템에서는 DNN 연산을 전적으로 서버 시스템에 의존했었지만 임베디드 GPU의 성능 향상으로 임베디드 시스템 자체적으로 DNN 연산을 수행할 수 있게 되었다. 따라서 클라우드에 의존해서 DNN 연산을 수행하던 무인항공기, 스마트 시티, 자율주행 자동차 등의 시스템들이 DNN을 시스템 내부 자원만으로 실행하는 능력이 생겼다. 특히 자율주행 자동차의 경우 여러 개의 카메라와 센서들로부터 입력되는 다양한 데이터는 영상인식 및 차선 감지 등의 응용에 전달된다. 이후 각각의 응용 들은 여러 종류의 DNN을 사용하여 이 데이터를 처리한다. 여러 개의 DNN을 사용하기 위해서는 각 DNN을 프로세스 또는 쓰레드에 할당하여 일괄적으로 실행해야 하고 실행하는 환경에 따라 전체 실행시간에 많은 차이가 있다. 본 논문에서는 첫 번째로 멀티 컨텍스트 환경과 싱글 컨텍스트 환경에서 여러 개의 DNN을 실행될 때 각 환경에서 발생하는 오버헤드를 분석한다. 두 번째로 임베디드 GPU 시스템에서 발생할 수 있는 CPU와 GPU 사이의 메모리 복사 문제와 이와 관련된 캐시 이슈에 대하여 분석한다. 마지막으로 분석된 문제를 해결하고 오버헤드를 최소화 할 수 있는 프레임워크를 제안한다. 제안된 프레임워크를 상용 보드에 적용 후 실험한 결과 멀티 컨텍스트 환경 대비 최대 40.8%의 실행시간이 감소하였다.

영어초록

In traditional embedded systems, DNN operations were entirely dependent on server systems, but improved performance of embedded GPUs allowed the embedded system to perform DNN operations on its own. Thus, systems such as unmanned aerial vehicles, smart cities, and self-driving cars, which relied on the cloud to perform DNN operations, have the ability to run DNN models only with internal resources. Especially for self-driving cars, various data input from multiple cameras and sensors is transmitted to applications such as image recognition and lane detection. Subsequently, each application uses several kinds of DNNs to process the data. To use multiple DNNs, each DNN must be allocated to a process or a thread to run in batches, and there are many differences in overall execution time depending on the environment in which it runs. In this paper, we first analyze the overhead that occurs in each environment when multiple DNNs are executed in a multi-context environment and a single-context environment. Secondly, we analyze the memory copy problem between CPU and GPU that can occur in embedded GPU systems and the cache issue associated with it. Finally, we propose a framework that can solve the analyzed problem and minimize overhead. After applying the proposed framework to a commercial board, experiments result in up to 40.8% reduction in running time compared to the multi-context environment.

참고자료

· 없음