LDA와 WMD 기반의 공간 변환을 이용한 효과적인 문서 클러스터링 방법 (An Efficient Document Clustering Method using Space Transformation based on LDA and WMD)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 48권 / 9호 / 1052 ~ 1060페이지
· 저자명 : 김용담, 정성원

초록

기존의 TF-IDF 기반의 문서 클러스터링 기법은 문서의 문맥 정보인 co-occurrence와 word- order에 대한 정보를 충분히 활용하지 못하고, “차원의 저주”로 인해 성능이 저하되는 문제가 있다. 이를 극복하기 위해서 워드 임베딩 벡터를 가중 평균을 하거나, Word Mover‘s Distance(WMD)를 사용한 기법들이 제안되었는데 제안된 기법들은 문서 간 분류에서는 좋은 성능을 보이지만, 문서 집단을 파악해야 하는 문서 클러스터링 에서는 좋은 성능을 보이지 못했다. 따라서 본 연구에서는 LDA를 활용하여 문서 집단을 집단의 대표 문서인 토픽 문서로 새롭게 정의하여 토픽 문서를 기반으로 WMD를 계산하는 것으로 기존 문제를 해결한다. 하지만 WMD가 많은 계산량을 필요로 하기 때문에, 이를 해결하기 위해 각 문서를 토픽 문서와의 WMD값을 축으로 하는 저차원 공간으로 매핑하는 하는 것으로 계산량을 줄이면서 충분한 성능을 보이는 공간 변환 기법을 제시한다.

영어초록

The existing TF-IDF-based document clustering methods do not properly exploit the contextual information of documents, i.e., co-occurence and word-order, and tend to degrade the performance due to the curse of dimensionality. To overcome these problems, the techniques such as a weighted average of word embedding vectors or Word Mover's Distance (WMD) have been proposed. The performance of the techniques is good at document classification, but not a document clustering that needs to group documents. In this study, we define a document group as a topic document using LDA, the document group's representative document, and solve the existing problem by calculating the WMD based on the topic document. However, since WMD requires a large amount of computation, we propose a space transformation method that shows a good performance while reducing the computation cost by mapping each document to a low-dimensional space in which each axis means WMD value from each topic document.

참고자료

· 없음