다양한 뉴럴 네트워크를 지원하기 위한 가속기 기반의 시스템 연구의 필요성 (The Importance of Accelerator-based System Research to Efficiently Support Various Neural Network Models)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 26권 / 7호 / 344 ~ 348페이지
· 저자명 : 박평수, 김장우

초록

뉴럴 네트워크는 우리의 삶을 급속도로 변화시키고 있는 핵심 기술이다. 최근 하드웨어 설계자들은 이들의 중요성을 인식하고 텐서처리장치(TPU)와 같은 하드웨어 가속기들을 제시해왔다. 그 결과, 데이터센터부터 개인용 장치에 이르기까지 다양한 환경에서 하드웨어 가속기가 적용되기 시작하였다. 하지만, 본 논문은 현존하는 가속기들이 간단하고 정형화된 행렬 곱 기반의 연산만을 집중하고 있음을 지적한다. 따라서 이 가속기들은 중요성이 날로 커지는 새로운 보조적 연산을 지원하지 못하고 있다. 보조 레이어가 뉴럴 네트워크 성능에 끼치는 영향을 고려할 때, 이들을 지원하지 못하는 시스템은 성능상의 큰 손실을 감수할 수밖에 없다. 즉, 우리는 시스템상에서 다양한 연산을 지원할 수 있게 하는 것이 매우 중요함을 시사한다. 이와 더불어, 다양한 연산을 효율적으로 지원하기 위한 다양한 시스템 후보들을 살펴보고, 이들의 장단점에 대해서 논의한다.

영어초록

Neural networks are among the most important techniques that have dramatically changed the way we live. To efficiently support neural networks, hardware architects have proposed various neural network accelerators (e.g., TPUs). This has led to a proliferation of hardware accelerators for datacenters and personal devices. However, the scope of these hardware accelerators has been very limited to just the acceleration of simple and structured matrix multiplication operations.
Specifically, while emerging helper layers such as pooling and normalization layers play an important role in the performance of neural networks, the current inflexible hardware accelerators are missing huge opportunities due to their restricted scope. These problems have prompted us to develop a computing platform that supports various emerging layers to take advantage of full potential of hardware accelerators. Hereinafter, we discuss various system designs that efficiently support emerging layers and their tradeoffs.

참고자료

· 없음