대규모 오픈 데이터 레이크 구축을 위한플랫폼 독립적 자동화 프레임워크 (A Platform-independent Framework for Automatic Constructing Large-scale Open Data Lakes)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 38권 / 3호 / 83 ~ 95페이지
· 저자명 : 김다솔, 문양세

초록

최근 각국 정부와 기관의 데이터 공개가 활발해지면서, 머신 러닝, 데이터 분석 등 다양한 분야에서 오픈 데이터 활용 연구가 크게 증가하고 있다. 오픈 데이터는 주로 정부에서 공개하는 공공 데이터로, 이를 관리하는 저장소를 오픈 데이터 레이크라 한다. 본 논문에서는 오픈 데이터의 활용도를 높이기 위해, 여러 포탈에 분산된 데이터를 연계하여 특정 도메인에 대한 오픈 데이터 레이크 구축 지원 프레임워크를 제안한다. 이를 위해, 기존 오픈 데이터 포탈의 데이터 관리 방식을 분석하고 활용도를 저하시키는 전처리 복잡성, 플랫폼 종속성, 스케일 제한의 세 가지 문제점을 도출한다. 전처리 복잡성과 스케일 제한 문제를 해결하기 위해 자동화 확장 기능을 적용한 세 단계의 자동화 처리 로직을 구현하고, 플랫폼 종속성 문제 해결을 위해 플랫폼에 따른 세부 처리 로직을 구현한다. 또한, 오픈 데이터 레이크를 위한 메타데이터 관리 기능을 설계 및 구현한다. 실제 데이터 포탈을 대상으로 한 실험을 통해, 제안하는 프레임워크가 앞서 도출한 문제를 모두 해결하고, 데이터 레이크 구축뿐 아니라 효율적인 관리를 지원하는 통합 프레임워크임을 확인한다. 본 논문의 결과물은 오픈 데이터의 활용도를 높이고, 연구 데이터 부족 문제를 해결하는 실질적인 해결책을 제시한 최초의 통합 프레임워크라 할 수 있다.

영어초록

With the recent increase in data disclosure, research using open data in various fields, such as machine learning and data analysis, is also rapidly increasing. Open data is public data that is released by the government, and the repository that manages it is called an open data lake. In this paper, we propose a new framework for constructing an open data lake for a specific domain by federating the data distributed across multiple portals to increase open data utilization. We analyze data management methods of the existing data portals and derive three problems: pre-processing complexity, platform dependency, and scale limitation that reduce usability. To solve the pre-processing complexity and scale limitation problems, we present the three-step automatic processing logic to which we applied the automation expansion. We also propose a detailed processing logic according to the platform to solve the platform dependency problem. We then design and implement metadata management functions for an open data lake. Through experiments, we confirmed that the proposed framework is an integrated solution that solves all problems previously derived and supports efficient management and construction of a data lake. We present the first integrated framework that supports the construction and management of open data lakes.

참고자료

· 없음