잠재디리클레할당과 CUSUM통계량을 이용한 텍스트 데이터의 문단 식별 (Automatic topic boundary detection via latent Dirichlet allocation and CUSUM statistic)

서지정보

· 발행기관 : 한국데이터정보과학회
· 수록지 정보 : 한국데이터정보과학회지 / 34권 / 6호 / 927 ~ 939페이지
· 저자명 : 손원

초록

정보검색에서는 사용자의 질의와 관련된 웹 페이지의 일부를 검색 결과와 함께 제시하기도 한다. 이렇게 각 문서에서 질의와 연관성 높은 문단만을 선별하기 위해서는 의미에 따라 문서의 문단을 나누는 절차가 필요하다. 이 연구에서는 토픽 모형과 변화점 식별 절차를 이용하여 두 문단으로 구성된 문서에서 문단을 나누기 위한 알고리즘을 제안한다. 보다 구체적으로, 먼저 관찰된 문서들에 확률적 토픽모형의 하나인 잠재디리클레할당을 적용하여 여러 문서들에 잠재되어 있는 토픽을 확인한다. 이렇게 잠재디리클레할당에서 추정된 토픽들은 다항분포에 해당되므로 해당 다항분포, 즉 토픽에서 특정 단어가 생성될 조건부확률을 구할 수 있다. 잠재디리클레할당에서 구한 각 토픽의 모수 추정값을 이용하여 해당 토픽에서 각 문서에 포함된 단어들이 생성될 조건부확률들을 계산한다. 특정 토픽에서 다항분포의 모수 값이 큰 단어들은 해당 토픽에서 자주 관찰되는 단어이므로 토픽과 연관된 문단에서는 단어들의 조건부확률 값이 크고, 반대로 해당 토픽과 관련이 없는 문단에서는 단어들의 조건부확률 값이 작게 관찰될 것으로 기대할 수 있다. 따라서, 서로 다른 토픽으로 구성된 문서의 단어들의 조건부확률 값의 변화점을 식별함으로써 문서의 문단을 나눌 수 있다. 이 연구에서는 조건부확률의 변화점 식별을 위해 CUSUM통계량을 이용하는 절차를 제안한다. 이와 같은 절차를 로이터-21578 데이터에 적용한 결과, 두 문단으로 이루어진 문서의 문단 경계를 잘 식별할 수 있음을 확인하였다.

영어초록

For information retrieval, it is important to present a relevant paragraph for a query. This task requires identification of contextual paragraphs in long documents. In this study, we propose an automatic paragraph detection algorithm that is based on a topic model and a change point detection procedure. To be specific, we apply the latent Dirichlet allocation to a corpus and find underlying topics from the corpus. And then, we evaluate conditional probability for each word and a given topic. If a passage is generated from a specific topic, then we can expect that words in the passage show relatively high conditional probability for the given topic. Therefore, there would exist a change point between paragraphs of different topics.
We propose to identify change points from the estimated conditional probabilities via CUSUM statistics. Applying the proposed procedure to Reuters-21578 data, we found that paragraph boundaries can be efficiently discovered for two-paragraph, i.e. single change point documents.

참고자료

· 없음