효율적인 빅데이터 처리를 위한 고속 분산 클러스터 기반 RDMA 라이브러리 (High-speed Distributed Cluster-based RDMA Library for Efficient Big Data Processing)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 38권 / 3호 / 35 ~ 46페이지
· 저자명 : 정래원, 길명선, 문양세, 최형진

초록

본 논문에서는 분산 클러스터에 최적화된 RDMA(Remote Direct Memory Access) 라이브러리를 제안한다. RDMA는 CPU를 거치지 않고 노드 간 메모리에 직접 데이터를 송수신하는 고성능 네트워크 프로토콜이다. 그러나, 기존 RDMA 개발 방식은 복잡도가 매우 높고, 일대일 통신 기반 모델로 인해 다수 노드 환경에 적용이 어려운 문제가 있다. 이를 해결하기 위해, 본 논문에서는 기존 API를 일반화하여 다수 노드에도 쉽게 적용할 수 있는 새로운 RDMA 라이브러리를 설계하고 구현한다. 제안 라이브러리는 1) 변수 설정, 2) 통신 정보 생성, 3) RDMA 수행, 4) RDMA 종료의 네 단계로 통신을 수행한다. 제안한 RDMA 라이브러리를 사용한 통신 모듈 구현 결과, 다수 노드 간의 데이터 송수신이 정상적으로 수행됨을 실제 실험을 통해 확인하였다. 결과적으로, 제안 라이브러리는 진입 장벽이 높았던 RDMA 응용 개발 난이도를 낮추고, 기존 분산 처리 환경에도 쉽게 활용할 수 있는 효율적인 연구 결과라 사료된다.

영어초록

In this paper, we deal with an RDMA (Remote Direct Memory Access) development technique optimized for distributed clusters. RDMA is a high-performance network protocol that directly transmits and receives data between nodes in memory bypassing a CPU. However, the existing RDMA development method has a very high complexity, and it is very difficult to apply to multi-node environments due to its one-to-one communication-based model. To solve this problem, in this paper we design and implement a new RDMA library that can be easily applied to multiple nodes by generalizing the existing API. The proposed library performs RDMA communications in four steps: 1) setting variables, 2) generating communication information, 3) executing RDMA, and 4) ending RDMA. Through the real communication module implementation using the proposed RDMA library, we confirm that data transmission and reception between multiple nodes operate correctly. We believe that our library can be an efficient way to reduce the difficulty of RDMA application development, which has high entry barriers, and be easily utilized in the existing distributed processing environments.

참고자료

· 없음