식품 빅데이터 분석을 위한 데이터 허브의 설계 (Design of a Data Hub for Analysis of Food Big Data)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 36권 / 3호 / 153 ~ 163페이지
· 저자명 : 김종민, 권오흠, 송하주

초록

본 논문에서는 식품 빅데이터의 분석을 위한 데이터 저장시스템을 제안한다. 기존의 식품관련 분석시스템에서는 관계형데이터베이스 기반의 데이터웨어하우스를 사용하였고 정형화된 데이터에 기반한 식품 추천을 목적으로 하였다. 따라서 미리 정의된 스키마만을 사용해서 분석해야 하는 한계가 있고, 데이터 소스에서 웨어하우스로 데이터를 추출하는 과정에서 데이터의 소실이 빈번하게 발생한다. 제안하는 시스템은 데이터레이크 형식으로 다양한 데이터 소스를 연계하고 원데이터를 그대로 유지하여 유연한 데이터 처리가 가능하도록 하였다.
아울러 관계데이터베이스 또는 NoSQL 데이터베이스 데이터를 적재하여 사용할 수 있도록 하였다. 파일 데이터는 Elasticsearch를 사용하여 원데이터의 인입(Ingestion)과 검색이 단순하게 이루어지도록 하였다. 원데이터 파일은 HDFS에 저장하여 대규모 데이터 분석이 가능하도록 하였다. 사용자 측면에서는 Jupyter 노트북과 Google Colab을 통해 공유된 데이터를 웹브라우저를 통해 간편하게 접근하여 분석할 수 있도록 하였다.

영어초록

In this paper, we propose a data storage system for analysis of sea food big data. Existing food analysis stems are based on data warehouses that are constructed on relational databases. Therefore data analysis should be performed on the predefined database schema and data losses can happen while extracting data from the source to the data warehouse.
The proposed system connects various data sources with different types and provides flexible processing of the data which is stored in its original form as it is done in data lakes.
Users can store data in relational databases, non-SQL databases, and files with their selection. Files are ingested by Elasticsearch so that they can be efficiently retrieved later even though they are stored in its raw format. The data files are stored in HDFS to support massive data analysis. Users can easily access and analyze the data using a web browser via Jupiter notebook or Google’s Colab interface.

참고자료

· 없음