하둡 기반 천문 응용 분야 대규모 데이터 분석 기법 (Large-scale Data Analysis based on Hadoop for Astroinformatics)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 17권 / 11호 / 587 ~ 591페이지
· 저자명 : 곽재혁, 윤준원, 정용환, 함재균, 박동인

초록

과학 응용 분야에서 데이터 집약형 컴퓨팅(data-intensive computing)이 점차적으로 주목받으면서 대규모의 데이터를 빠른 시간 내에 효율적으로 처리해야 할 필요성으로 인해 클라우드 컴퓨팅이 주목받고 있다. 하둡(Hadoop)은 대규모 데이터 처리 분석을 위한 소프트웨어 프레임워크를 제공하며 클라우드 컴퓨팅의 대표적인 기술로서 널리 사용되고 있다. 특히, 하둡은 높은 확장성과 성능을 제공하면서 결함 탐지와 자동 복구 기능이 우수하여 과학 기술 분야에서도 점차적으로 도입되어 활용되고 있다.
본 논문에서는 하둡을 이용하여 천문 응용 분야에서 생성되는 대규모 데이터를 분석하기 위한 방법을 제안하였다. 본 논문에서 관심을 가지는 천문 응용 데이터는 SuperWASP프로젝트에서 생성되는 대략 천만 개의 작은 크기의 관측 데이터를 처리해야 하는데 하둡은 대규모 데이터 처리에 특화되어 있어서 많은 개수의 작은 크기를 가지는 관측 데이터 처리에는 적합하지 않다. 본 논문에서는 천문 응용 데이터 처리를 위한 입출력 파일을 하둡에서 제공하는 특수화된 데이터 구조를 이용하여 압축하였고 천문 응용 실행 코드가 하둡에서 실행 가능하도록 맵리듀스 작업으로 랩핑하여 구현하였다.

영어초록

Data-intensive computing being highly regarded in science application area, cloud computing has engaged public attention due to the necessity of efficiently processing large-scale data as soon as possible. Hadoop provides software framework for large-scale data processing and analysis, and is widely adopted and used as the representative technology of cloud computing. Especially, roviding high-scalability and performance and getting an excellence in fault-tolerence and automatic recovery functionalities, Hadoop is gradually used in scientific communities.
In this paper, we propose a Hadoop-based method to analyse large-scale data generated from astroinformatics research area. astroinformatics data we are dealing with are generated from Super WASP project, which need to process about ten million of small-sized observation data. However, Hadoop is specialized in large-scale data analysis and it is not suitable for many small-sized astroinformatics data. In this paper, we packed many small-sized astroinformatics data into large-sized ones using the specialized data structure of Hadoop and implemented MapReduce wrapper program to execute astroinformatics analysis code on Hadoop.

참고자료

· 없음