적응형 미니배치 데이터 재분배를 통한 멀티 GPU 환경에서 딥러닝 학습 응용의 효율성 향상 (Improving the Efficiency of Deep Learning Applications in a Multi-GPU Environment via Adaptive Mini-batch Data Redistribution)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 9호 / 51 ~ 58페이지
· 저자명 : 김인모, 김명선

초록

복수개의 GPU로 구성된 GPU 클러스터 내부에서 보통 다수의 DNN 모델 학습 응용이 실행된다. 이러한 환경에서 GPU 자원의 총량이 모든 학습 응용들이 필요로 하는 자원의 총량 보다 적다면 GPU 자원을 차지하기 위한 응용 사이의 경쟁은 피할 수 없다. 이때 발생한 경쟁의 정도와 각 학습 응용들이 각각의 GPU를 활용하는 정도에 따라서 어떤 응용들은 빠른 시간 내에 학습을 완료하고 어떤 응용은 이보다 훨씬 긴 시간 동안 학습을 진행해야한다. 본 연구에서는 이렇게 공정하지 못하게 학습 응용들에게 GPU들이 할당되는 것을 해결하는 알고리즘을 제안한다. 현재 각 응용들의 GPU 자원 활용 상태를 기반으로 예측된 학습 완료시간과 오프라인에서 각 응용들이 GPU를 독점해서 사용했을 때의 학습 완료 시간의 비율을 구해서 현재 그 응용의 현재 Slow-Down으로 정의한다. 현재 수행되는 학습 응용들의 Slow-Down 값이 비슷해지도록 각 학습 응용들의 GPU당 미니배치 데이터 비율을 주기적으로 조절하고 GPU 자원의 공정한 배분을 달성한다. 다양한 실험을 통하여 확인한 결과 최대 Slow-Down은 53%이상 감소하였고, 전체적인 GPU 활용율 역시 25% 증가하였다.

영어초록

More than one DNN model learning applications are usually executed inside a GPU cluster composed of several GPUs. In this environment, competition between applications to occupy GPU resources is inevitable if the total amount of GPU resources is less than that of resources required by all learning applications. Depending on the degree of competition that occurred at this time and the degree to which each learning application uses each GPU, some applications may complete learning in a short time and some must proceed for a much longer time than this. This study proposes an algorithm that solves the allocation of GPUs to learning applications in such an unfair way. Based on the current GPU resource utilization status of each application, the ratio of the predicted learning completion time and the learning completion time when each application uses GPU exclusively is calculated and defined as the current Slow-Down of the current application. The ratio of mini-batch data per GPU of each learning application is periodically adjusted and a fair allocation of GPU resources is achieved so that the Slow-Down values of currently executed learning applications become similar. As a result of confirming through various experiments, the maximum Slow-Down decreased by more than 53%, and the overall GPU utilization also increased by 25%.

참고자료

· 없음