Plan Manager: Apache Storm 기반 동적 데이터 스트림 정제 플랫폼 (Plan Manager: Apache Storm-based Dynamic Data Stream Refinement Platform)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 35권 / 1호 / 71 ~ 85페이지
· 저자명 : 김영국, 손시운, 문양세, 최형진

초록

데이터 스트림은 지속적으로 끊임없이 생성되므로, 이러한 데이터 스트림 전체를 수집하고 분석하는 것은 매우 비효율적이다. 본 논문에서는 대용량 데이터 스트림의 정제를 위해, 실시간 분산 병렬 프레임워크인 아파치 스톰(Apache Storm)에서 샘플링 및 필터링 알고리즘을 구현하고자 한다. 그런데, 스톰은 입력 데이터구조나 처리 알고리즘의 변경 시 작업 전체를 중단하고, 코드를 수정하고, 재배포하고, 재시작해야만 한다. 본 논문에서는 이와 같이 기존 스톰 환경에서 샘플링 및 필터링 기능을 개발했을 때의 문제점을 도출하고, 이를 해결하기 위한 요구사항을 정의한다. 또한, 데이터 스트림의 입력, 처리, 출력 모듈의 조합으로 구성되는 플랜(plan) 모델을 제시한다. 플랜 매니저(Plan Manager)는 스톰, 카프카, 데이터베이스를 하나의 시스템처럼 운용하며, 플랜을 통해 데이터 스트림에 대한 샘플링과 필터링을 동적으로 적용할 수 있는 통합 플랫폼이다. 특히, 웹 클라이언트를 통해 플랜을 시각적으로 생성, 실행, 모니터링할 수 있는 특징을 가진다. 본 논문에서는 제안하는 플랜 매니저에 대한 설계와 구현 결과를 차례로 제시하여 그 유용성을 보인다.

영어초록

In this paper, we address sampling and filtering problems of big data streams. Since data streams are being generated constantly and continuously, it is not practical to collect and process the entire stream of big data. Thus, there are many demands for sampling methods for extracting appropriate samples and/or filtering methods for extracting necessary data from the entire data stream. In addition, there is a critical limitation in processing big data streams in a single server.
Apache Storm is a real-time distributed parallel processing framework for processing large data streams efficiently. However, Storm needs to modify the source code, redistribute the code, and restart the process when changing the input data structures or processing algorithms. In this paper, we describe the problems of sampling and filtering techniques in the Storm-based distributed environment, and define the requirements to solve those problems. We then design a novel plan model consisting of the input, processing, and output modules in the data stream. Plan Manager is a dynamic platform that manages Storm, Kafka, and databases in an integrated framework, and it can dynamically apply sampling and filtering techniques to rapid data streams through the plan.
In addition, the Plan Manager has a useful feature that can visually create, execute, and monitor the plan through the Web client. In this paper, we present the design, implementation, and experimental results of the proposed Plan Manager in order to demonstrate its usefulness and effectiveness.

참고자료

· 없음