Intel KNL 클러스터 환경에서 AVX-512 기반 Blocked GEMM 알고리즘을 활용한 ScaLAPACK의 병렬 행렬 곱셈 연산(PDGEMM) 성능 향상 (Improvement on Parallel Matrix Multiplication Routines in ScaLAPACK using Blocked Matrix Multiplication Algorithm on Intel KNL Clusters with AVX-512)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 48권 / 1호 / 7 ~ 12페이지
· 저자명 : 응웬티미뚜엔, 박유상, 최재영

초록

행렬곱셈연산(DGEMM)은 선형대수학, 머신러닝, 통계분야 등에서 적용되는 핵심 계산 루틴으로, 프로세서 제조회사들이 여러 코어를 가진 단일노드에서 어셈블리 코드를 사용하여 직접 최적화시킨 루틴들을 발표하였으며, 다양한 자동 튜닝 기법을 통해 계산과정을 최적화시키기 위한 많은 연구들을 수행하였다. 행렬곱셈연산의 처리 시간을 효과적으로 줄이기 위해서는 노드별로 수행되는 곱셈과정을 최적화시켜병렬컴퓨팅 환경에 적합한 형태로 처리할 수 있는 위한 방법이 필요하다. 본 논문에서는 Intel Knights Landing (KNL) 환경에서의 병렬 배정밀도 부동소수점 행렬곱셈연산(PDGEMM) 및 적용과정을 소개한다.
제안하는 적용과정의 세부사항은 병렬컴퓨팅 실행 환경을 위한 단일 노드의 행렬곱셈연산을 최적화한 부분행렬곱셈 과정과 KNL 실행 환경에 적용할 수 있는 Intel AVX-512 명령어를 적용할 수 있는 컴파일과정을 포함한다. 실험에서는 제안하는 PDGEMM의 성능이 각 4개 및 16개 노드로 구성된 KNL 클러스터 환경에서 Intel Math Kernel Library (MKL)의 병렬 행렬곱셈루틴보다 각 6% 및 68% 향상된 성능을보임을 확인하였다.

영어초록

General matrix multiplication (GEMM) is a core computation algorithm in linear algebra, machine learning, statistics, and many other domains. Optimizations of such routines, including GEMM, have been conducted by vendors and researches with auto-tuning techniques. To achieve high performance for parallel matrix multiplication, a matrix multiplication processing scheme based on the optimization of local matrix multiplication at each node should be necessarily applied. In this paper, the application of parallel double-precision general matrix multiplication (PDGEMM) on Intel KNL was examined. The application of DGEMM calculated sub-matrices multiplication at each node.
Details of the proposed DGEMM were introduced, including a blocked matrix multiplication algorithm with AVX-512 instruction sets and several optimization techniques, such as the data prefetching, loop unrolling, and cache blocking. This study found that the proposed PDGEMM performance was better than that in the ordinary cases of PDGEMM from the Intel Math Kernel Library (MKL) on both 4 and 16-node KNL clusters, with the flop rate improvements of 6% and 68%, respectively.

참고자료

· 없음