고품질 빅데이터 분석을 위한 최적의 전처리 순열 추천 방법 (A Recommendation Scheme for an Optimal Pre-processing Permutation Towards High-Quality Big Data Analytics)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 47권 / 3호 / 319 ~ 327페이지
· 저자명 : 김성현, 서영균, 탁병철

초록

오늘날 폭발적인 데이터의 증가로, 다양한 분야에서 빅데이터 분석을 통한 지능 서비스 연구가활발히 진행 중이다. 데이터 마이닝 또는 기계 학습을 통한 빅데이터 분석은 학습 데이터에 대한 전처리가 필수적이다. 주어진 데이터에 대한 불완전하고 부적절한 전처리는 신뢰하기 힘든 분석 결과를 낳을 수있음에도 불구하고, 사용자가 최상의 결과를 도출할 수 있는 전처리 함수들에 대한 최적의 집합 및 그 순서를 선택하는 것은 어렵다. 이러한 문제를 역설하기 위해, 본 논문에서는 사용자가 제공한 데이터에 최적화된 전처리 함수들의 순열을 분석하고 추천하는 플랫폼을 설계하고 구현하였다. 제안된 추천 방법을 실세계 데이터를 사용하여 평가한 결과는 최적의 전처리 순열은 최악의 전처리 순열과 비교하여 정확도 측면에서 가장 뛰어난 성능을 보이고 있음을 입증한다. 사용자는 본 논문이 제안하는 방법을 적용하여 최상의전처리 순열을 선택할 수 있어 고품질 빅데이터 분석 결과를 얻을 수 있을 것으로 기대된다.

영어초록

Today, due to the explosive increase in data, intelligent service research through big data analysis has been actively conducted in various domains. Pre-processing of training data is essential to big data analytics via data mining or machine learning. Although incomplete and inadequate pre-processing for a given dataset can result in unreliable analysis, it is challenging for users to choose the optimal set and sequence of pre-processing functions that leads to the best results.
To address this problem, we have designed and implemented a pre-processing evaluation platform that can analyze the performance of a various permutation of pre-processing functions for a given user dataset and then recommend the best permutation. Evaluation results using the real-world dataset demonstrates that the recommended pre-processing permutation yields the best performance in terms of accuracy when compared to the worst pre-processing permutation. By applying the method proposed in this paper, users can choose the best preprocessing permutation, thus being expected to obtain high-quality big data analysis results.

참고자료

· 없음