이기종 빅데이터 분석을 위한 Spark 기반 join 기법 (Spark-based join technique for big data analysis of heterogeneous)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 11권 / 6호 / 91 ~ 99페이지
· 저자명 : 최병은, 박진영

초록

본 논문은 분산 이기종 데이터베이스들을 단일 DBMS로 논리적으로 통합하는 데이터 가상화 연구에 있어, 빅데이터(Big Data) 분석을 위한 데이터 가상화(Data Virtualization) 시스템 구현 기법에 대해 논의한다. 빅데이터를저장하고 있는 이기종 DBMS들의 테이블을 대상으로 분석 목적에 따라 쿼리(Query)를 수행하고, 스키마(Schema)를 탐색할 수 있도록 구현해야 하는데, 여기서 대규모 레코드의 테이블 간 join 처리가 관건으로 작용한다. 목표 달성을 위해 Spark와 Hive의 join 성능 비교시험을 통해 Spark 기반의 시스템 구성을 채택했고, ace editor와 tajo sql, 쿼리 변환기 등을 적용해서 스키마 브라우저를 구현했다. 이를 통해 빅데이터 분석용 데이터 가상화 시스템 기술을 확보할 수 있었다.

영어초록

This paper studies in data virtualization, which logically integrate the distributed heterogeneous databases into a single DBMS, to discuss the implementation method of the data virtualization system for big data analysis. Depending on big data saved in the target heterogeneous DBMS tables are analytical purposes, run the query, but must implement a schema to navigate, inter wherein a large record table join processing is applied to the key. Adopting the system configuration of the Spark base through the join performance comparison test of Spark and Hive in order to achieve the goal, ace editor and tajo sql, by applying such as queries converter, an implementation of the schema browser. Thus, it was possible to ensure the technique of data virtualization system for big data analysis.

참고자료

· 없음