K-means 성능 향상을 위한 효율적인 버킷 클러스터링 (An Efficient Bucket Clustering to Improve Performance of K-means)

서지정보

· 발행기관 : 한국지식정보기술학회
· 수록지 정보 : 한국지식정보기술학회 논문지 / 17권 / 1호 / 173 ~ 181페이지
· 저자명 : 한수영

초록

본 논문에서는 데이터 집합의 한 번의 스캔으로 군집을 찾는 효율적인 버킷 클러스터링 기법을 제시한다. 클러스터링은 데이터 마이닝 기법 중 하나로 고객 데이터 분석, 유권자 분석 등 데이터의 그룹 분석이나 타겟 마케팅과 같은 전략을 세우는데 유용하게 사용되고 있다. 가장 많이 사용되는 k-mean 기법은 반복 검색을 통해 최적의 군집을 찾는 방법으로 고품질의 클러스터를 찾기 위해 사용되고 있으나, 이러한 반복적인 분석기법은 최근 실시간 응용환경에서는 효율적이지 못하다. 본 논문은 데이터 압축 기술을 적용하여 기존의 k-means 보다 빠르게 수행할 수 있으며, 기존과 동일한 품질의 클러스터를 찾는 것을 목표로 한다. 실험은 KDD 데이터 마이닝 대회에서 사용한 실제 데이터를 사용하여 알고리즘을 수행하고 성능을 평가한다. 제안하는 방법을 통해 기존의 k-means 방법과 거의 동일한 품질의 클러스터링을 생성하면서 버킷 요약을 통해 처리 데이터의 수를 줄여 방대한 데이터에 대한 클러스터링 과정을 보다 효율적으로 수행할 수 있게 되었다. 최근 산업환경에서 데이터의 가치와 분석의 효용성은 극대화되고 있으나 방대한 크기의 데이터에 비해 분석 알고리즘의 복잡도나 성능이 항상 문제가 되고 있어서, 본 방법은 빅데이터와 같은 최신 데이터 플랫폼에서도 유용한 분석 알고리즘이 될 것으로 기대할 수 있다.

영어초록

In this paper, we present an efficient clustering technique to find clusters with one scan of a data set. Clustering is one of the data mining techniques and is usefully used for group analysis of data such as customer data analysis and voter analysis, and strategies building for target marketing. The most commonly used k-means method is a method finding the optimal cluster through iterative search and is used to find high-quality clusters. By applying data compression technology, it can be performed faster than the existing k-means, and it aims to find a cluster of the same quality as before. The experiment performed the algorithm and evaluated its performance using real data used in the KDD data mining competition. The proposed method creates clustering with almost the same quality as the existing k-means method, and reduces the number of processed data through bucket compression, making it possible to perform the clustering process for large amounts of data more efficiently. Although the value of data and the utility of analysis are being maximized in the recent industrial environment, the complexity and performance of analysis algorithms are always a problem for large-scale data. It can be expected to be a useful analysis algorithm even in the latest data platforms such as big data.

참고자료

· 없음