한글 웹 문서에서 자질 필터링을 사용한 문서 클러스터링 알고리즘 (Document Clustering Algorithm Using Feature Filtering Method for Korean Web Document)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 27권 / 1호 / 57 ~ 72페이지
· 저자명 : 장건업, 홍의경

초록

색인 전문가에 의해 분류된 한글 웹 문서들로부터 통계적 자질 추출 방법으로 자질을 추출하여 클러스터링하면, 자질 선택에 사용된 한글 웹 문서 데이터 집합에따라 성능과 결과가 다르게 나타난다. 그 이유는 많은 한글 웹 문서에 문서의 내용과 관계없는 단어들이 다수 포함되어 있어서 문서의 특징을 나타내는 단어들이상대적으로 잘 두드러지지 않기 때문이다. 따라서 본 논문에서는 자질의 문서군별 자질값뿐만 아니라, 문서군별 자질값의 분포와 정도, 자질의 출현 여부와 빈도를 고려하여 (1) 한글 웹 문서 단위로 문서 내 자질 추출 방법, (2) 전체 한글 웹 문서 데이터 집합 내 자질 추출 방법, (3) 위의 두 가지 방법을 결합한 자질 필터링방법을 제시하였다. 또한 본 논문에서 제시한 방법을 이용하여 클러스터링을 수행하였다. 기존의 K‐means의 초기화 문제를 해결하기 위해 유전 알고리즘에 기반한 수정된 GAK‐means를 제안하였다. 실험 결과 기존의 자질 추출 방법을 이용하는 것보다 본 논문에서 제시한 세 가지 자질 필터링 방법의 클러스터링 결과가 우수하였다. 특히, 단위 한글 웹 문서 내 자질 필터링 방법과 전체 한글 웹 문서 내 자질 필터링 방법을 결합한 방법의 성능이 우수하였다. 실험을 통해 GAK‐means가 DBSCAN, K‐means보다 좋은 성능을 나타냄을 보였다.

영어초록

Clustering Results differ according to the datasets and the performance worsens even with Korean web documents that are manually pre‐processed by an indexer, because irrelevant features are not eliminated from representative clusters obtained by the statistical feature selection methods.
Therefore, we propose in this paper three feature‐filtering algorithms which consider feature values per a document set together with distribution, frequency, and weights of features: (1) a feature filtering method in a document, (2) a feature filtering methods in all Korean web documents, and (3) a hybrid method combining both (1) and (2). We also perform Korean web document clustering using three feature filtering methods. For that, we propose new clustering algorithm, GAK‐means, which is GA‐based and adjusted to K‐means. It solves K‐means’s initial point problem. In experiment results, Korean document clustering using our feature filtering methods are more predominant than statistical feature selection methods. Especially, Korean web document clustering using a hybrid method gives the most predominant performance. And according to the results of our experiments, GAK‐means give better clustering performance than DBSCAN and K‐means.

참고자료

· 없음