데이터 스트림의 샘플링 및 필터링을 위한 고속 분산 처리 플랫폼 (High-speed Distributed Processing Platform for Sampling and Filtering Data Streams)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 37권 / 3호 / 16 ~ 28페이지
· 저자명 : 길명선, 문양세, 최형진

초록

본 논문에서는 데이터 품질 관리의 대표 기술인 데이터 정제(purification)를 스트림 환경에 적용할 수 있는새로운 분산 처리 플랫폼을 제안한다. 이를 위해, 먼저 기존 정제 기술의 세 가지 문제점을 분석한다. 그리고, 각문제점의 해결 방안으로 오픈소스 프로젝트 기반의 새로운 고속 스트림 처리 플랫폼을 제시한다. 제안 플랫폼은데이터 스트림 처리 엔진, 정제 라이브러리, 플랜 매니저, 공유 스토리지로 구성되며, Apache Storm 및 Apache Kafka를 기반으로 설계한다. 해당 요소들은 스트림 처리 속도 및 처리량이 매우 중요한 성능 지표로, 본 논문에서는 RDMA(Remote Direct Memory Access)를 활용하여 성능을 향상시킨다. 제안 플랫폼의 성능 평가에는 총아홉 대 노드로 구성된 분산 클러스터 환경을 사용하며, 이를 기반으로 각 컴포넌트를 구현 및 평가하였다. 실험을통해 제안 플랫폼의 스트림 처리량이 기존 이더넷 환경 대비 평균 28배 이상, 처리시간은 평균 2,473배 이상 향상되었음을 확인하였다. 결과적으로, 본 논문에서 제안한 스트림 정제 플랫폼은 초고속, 대용량으로 발생하는 스트림의 효율적인 정제를 지원하는 최초의 통합 플랫폼이라 할 수 있다.

영어초록

In this paper, we propose a novel intelligent platform that applies data purification, a representative technology of data quality management, to the data stream environment. First, we analyze three problems of the existing purification technology: Unsuitability on high-speed stream environment, Lack of stream-based purification methods, and High-difficulty in utilizing purification technologies. Next, to solve those problems, we derive a new high-speed stream processing platform based on open-source projects. The proposed platform consists of Data Stream Processing Engine, Purification Library, Plan Manager, and Shared Storage, and we implement our platform based on Apache Storm and Apache Kafka. Stream processing speed and throughput of these elements are very important performance measures. Thus, we address a performance improvement method using RDMA-Storm (Remote Direct Memory Access based Storm) to increase these performance measures. Through extensive experiments, we showed that the throughput of the proposed platform improved by over 28 times and 2,473 times of processing time compared to the existing Ethernet environment. To our best knowledge, the proposed stream purification platform is the first integrated platform that supports stable purification on an ultra-high speed and big data stream environment.

참고자료

· 없음