Marmot: 공간 빅데이터 처리를 위한 하둡 기반의 고성능 데이터 저장 관리 시스템 (Marmot: A Hadoop-based High Performance Data Storage Management System for Processing Geospatial or Geo-Spatial Big Data)

서지정보

· 발행기관 : 대한공간정보학회
· 수록지 정보 : 대한공간정보학회지 / 26권 / 1호 / 3 ~ 10페이지
· 저자명 : 조정희, 이강우

초록

빅데이터의 많은 부분을 차지하고 있는 공간 빅데이터는 빅데이터의 일반적인 특징을 보유하면서 장소에 대한 속성 또한 추가적으로 포함한다. 따라서 생성하는 데이터의 양이 방대할 뿐만 아니라 다른 종류의 빅데이터에 비하여 다양성과 복잡도가 매우 높은 특징을 가지고 있다. 대부분의 기존 빅데이터 처리 기술들은 공간 정보 처리에 특화된 처리 기능을 제공하지 않거나 제한된 기능만을 제공하여 공간 데이터 처리 성능의 한계가 존재한다. 본 연구에서는 이러한 문제점을 해결하기 위해 개발하고 있는 Marmot 시스템을 소개한다. Marmot은 공간 빅데이터의 빠른 처리를 위한 함수 기반의 고성능 공간 빅데이터 저장관리 시스템이다. 이 시스템은 하나 이상의 공간 연산들의 체인으로 분석의 대상이 되는 응용을 기술하고, 입력 공간 빅데이터의 크기에 따라 맵리듀스(MapReduce) 또는 인메모리(In-Memory) 작업을 동적으로 선택하여 수행한다. 이때, 주어진 작업을 맵리듀스 방식으로 처리하는 경우 사용되는 맵리듀스 횟수를 최소화 하는 기능을 통해 고속의 공간 분석 응용의 수행 성능을 보여준다. 또한 개방형 공간 연산 기반의 데이터 처리 기능을 제공하여 사용자 정의가 가능한 공간 연산을 통한 높은 확장성을 제공한다.

영어초록

Geospatial Big Data occupying a large portion of Big Data holds geospatial information while retaining the general characteristics of Big Data. Thus, the volume, variety, and complexity of Geospatial Big Data are much greater compared to other kinds of Big Data. Most of the existing Big Data technologies provide little functionalities for processing geospatial data, and therefore suffer from performance problems. To address these issues, we have developed a high-performance Geospatial Big Data management system based on Apache Hadoop, named as Marmot. Marmot provides a variety of geospatial operators, which are used to build geospatial analysis tasks. The tasks are executed by either MapReduce or In-Memory jobs according to the size of the input data. When a task is executed in MapReduce jobs, Marmot improves performance by reducing the number of MapReduce jobs in order to complete them. In addition, the extensible architecture of Marmot enables application developers to specify user-defined geospatial operators and allow them to combine with the built-in operators.

참고자료

· 없음