실시간 공간 빅데이터 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용 (Design and Application of the Complex Event Processing System for Real-Time Spatial Big Data Analysis)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 31권 / 3호 / 136 ~ 146페이지
· 저자명 : 윤수식, 최형주, 김정은, 이재길

초록

최근 IoT 기술의 발달과 모바일 디바이스의 대중화로 공간 정보를 포함하는 데이터가 급격하게 증가함에 따라 공간 빅데이터 처리 기술이 많은 관심을 받고 있다. 또한, 유비쿼터스 컴퓨팅의 중요성이 널리 인식되면서 실시간 데이터 처리에 대한 수요가 증가하고 있다. 하지만, 기존의 SpatialHadoop과 같은 공간 빅데이터 처리 방법은 수집된 데이터를 일괄적으로 처리하는 배치 처리 방식으로 일정량 이상의 데이터를 수집한 후에야 분석이 가능하기 때문에 실시간 처리에는 불리하다. 또한, Esper나 Drools와 같은 복합 이벤트 처리 엔진은 수평적 확장이 불가능하기 때문에 대용량 데이터 처리에 한계가 있으며, 공간 정보 처리 능력도 결여되어있다. 마지막으로 Storm과 같은 실시간 분산 처리 시스템은 다양한 종류의 데이터들에 대한 복합적인 관계 분석 능력이 미흡하다. 본 논문에서는 공간 빅데이터의 실시간 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용에 대해 기술한다. 먼저, 대용량의 실시간 데이터 처리를 위한 수평적 확장을 위해 Storm을 분산 처리 시스템으로 도입하였다. 그리고 복합 이벤트 처리를 위해 Drools 엔진을 Storm의 논리적 단위인 볼트와 결합하였다. 또한, 공간 데이터 처리를 위해 Drools 엔진에 공간 데이터 타입과 연산자를 구현하였다. 마지막으로, 설계한 시스템을 실제 응용인 “화물차 복합 이벤트”에 적용한 결과를 제시하였다.

영어초록

Spatial big data processing has attracted significant attention due to the proliferation of Internet of Things(IoT) technology and mobile devices. Furthermore, the demand for real-time processing has been increasing since the importance of ubiquitous computing has become widely recognized. However, existing method for spatial big data processing, such as SpatialHadoop, is not suitable for real-time processing because it is based on batch processing, which collects input data as sets of records and then processes each set as a unit. In addition, Complex Event Processing(CEP) engines, such as Esper and Drools, do not have sufficient ability to handle horizontal scalability and spatial operation. Also, distributed real-time computation system, such as Storm, is inadequate to analyze the complex relations or conditions of information generated from diverse sources. In this paper, a design and application process for a complex event processing system for real-time spatial big data is proposed. First, Storm is adopted as a distributed system for horizontal scalability. Then, the Drools CEP engine is combined with a bolt (a logical unit of Storm). Additionally, spatial data types and operators are defined and implemented in the Drools engine. Finally, system architecture based on real-world applications is introduced, focusing on complex event processing for a freight car case.

참고자료

· 없음