확장성 있는 분산 딥러닝 학습을 위한 데이터 불균형 최소화 기법 (A Data Imbalance Minimization Strategy for Scalable Deep Learning Training)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 50권 / 10호 / 836 ~ 844페이지
· 저자명 : 맹산하, 문의현, 박성용

초록

심층 신경망의 학습은 계산 집약적이고 오랜 시간이 걸리기 때문에, 학습의 가속화를 위해 다수의 GPU가 장착된 GPU 클러스터를 사용하여 학습을 분산시키는 방법이 널리 사용되고 있다. 심층 신경망의 분산 학습은 계산이 가장 느린 straggler 노드에 의해 속도와 확장성이 저하되어 straggler 문제를 해결하기 위한 선행 연구들이 제안되었다. 그러나 기존의 방식은 이미지와 같이 모든 데이터 샘플들이 일정한 크기를 가지고 있다고 가정했기 때문에 영상이나 음성 데이터와 같이 데이터 샘플들의 크기가 서로 다른 불균형 데이터를 사용한 분산 학습의 문제점을 인지하지 못했다. 본 논문에서는 데이터 샘플들 간 크기의 차이로 인해 발생하는 straggler 문제를 발견하고 이를 해결하기 위해 데이터 불균형을 고려한 데이터 불균형 최소화 기법 (Data Imbalance Minimization, DIM) 을 제안한다. 여덟 대의 NVIDIA Tesla T4 GPU가 장착된 클러스터에서 DIM의 성능을 평가한 결과 DIM은 최신 시스템에 비해 최대 1.77배의 학습 속도 향상 및 비슷한 수준의 확장성을 가진다.

영어초록

As deep neural network training is compute-intensive and takes a very long time, distributed training using clusters with multiple graphics processing units (GPUs) has been widely adopted. The distributed training of deep neural networks is severely slowed due to straggler, i.e., the slowest worker. Hence, previous studies have proposed solutions to the straggler problem. The existing approaches assume that all data samples, such as images, have a constant size, and they do not recognize data imbalance issues, caused by data samples with different sizes, such as videos and audios, while solving the straggler problem. In this paper, we propose a data imbalance minimization (DIM) strategy that considers data imbalance problems to solve the straggler problem caused by imbalanced data samples. Our evaluation on eight NVIDIA Tesla T4 GPUs shows that DIM outperforms the state-of-the-art systems by up to 1.77x speedup with comparable scalability.

참고자료

· 없음