주제 추출을 위한 맵리듀스 기반의 사전확률 최적화 알고리즘 (A MapReduce-based Prior Probability Optimization Algorithm for Topic Extraction)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 45권 / 5호 / 478 ~ 488페이지
· 저자명 : 오선영, 온병원

초록

대용량 테스트 문서에서 의미 있는 정보를 찾기 위한 다양한 주제 추출 알고리즘이 사용되고 있다. 주제 추출 알고리즘은 베이지안(Bayes) 확률 모델을 사용하기 때문에 사전확률 α와 β가 입력으로 주어져야 한다. 기존에는 주제 추출 알고리즘을 사용하기 위해 기본(default) 사전확률을 사용하거나, 주관적으로 그 값을 결정하였다. 본 연구에서는 주제 추출 알고리즘의 사전확률을 자동으로 결정해주는 맵리듀스 기반의 알고리즘을 제안하고 대용량 데이터에 대한 성능과 정확도를 크게 향상시켰다. 기존의 단일 쓰레드 알고리즘과 다르게, 제안된 맵리듀스 알고리즘은 입력된 데이터에 적합한 사전확률을 빠르게 찾고 주제 추출 알고리즘을 실행하여 정확한 주제를 추출할 수 있다. 본 연구의 실험 결과에 따르면, 제안 방안은 주제일관성과 성능 측면에서 기존 방안보다 우수함을 나타낸다.

영어초록

Various topic extraction algorithms have been used to obtain meaningful information from a large number of text documents. Since the topic extraction algorithms work based on the Bayesian probability model, the prior probabilities, α and β, should be given as inputs. Until now, in order to run the topic extraction models, users have to either take advantage of default prior probability values or determine them subjectively. In this study, we propose a MapReduce-based prior probability optimization algorithm that systematically determines the prior probability values in addition to the improvement of performance and accuracy against a large-scale input data. Unlike the previous single thread algorithm, the proposed MapReduce-based algorithm quickly determines the prior probability values that are suitable for the input data. It then extracts topics with high accuracy after the topic extraction algorithm is executed with the chosen prior probability values. Our experimental results showed that the proposed method outperforms the previous method in the aspect of topic coherence and performance.

참고자료

· 없음