추출식 한국어 요약을 위한 TextRank 유사도 알고리즘의 성능 분석 (Performance Analysis of TextRank Similarity Algorithms for Extractive Korean Document Summarization)

서지정보

· 발행기관 : 융복합지식학회
· 수록지 정보 : 융복합지식학회논문지 / 12권 / 3호 / 125 ~ 133페이지
· 저자명 : 김종훈, 이상록, 김정호

초록

본 논문은 추출 요약 기반의 한국어 문서 요약 시스템에서 많이 적용되고 있는 TextRank 알고리즘에서 문장 유사도를 계산하는 다양한 방식들의 성능을 비교 분석하였다. 성능 평가를 위한 데이터셋은 AI 허브에서 제공하는 뉴스 기사와 사설을 적용하여, 문서 종류에 따른 영향을 분석하였다. 그리고, 문서 내의 문장의 개수에 따라 데이터셋을 2가지 유형으로 구분하여 문서의 길이에 대한 영향을 분석하였다. 루지 스코어는 LSA 방식과 TF-IDF 방식에서 가장 높았고, 문서 길이에 따른 영향은 거의 없는 것으로 나타났다. 또한, 요약문 생성시 소요되는 실행시간은 LSA 방식이 가장 짧고, TF-IDF 방식에 비해 1/3로 단축된다. 이는 LSA 방식이 차원 축소를 통한 계산량 감소뿐만 아니라 의미적 유사도를 고려할 수 있기 때문으로 판단된다. 결과적으로 TextRank 기반의 추출식 한국어 문서 요약 시스템에서는 LSA 방식이 가장 우수함을 확인하였다.

영어초록

This paper compares and analyzes the performance of various methods for calculating sentence similarity in the TextRank algorithm, which is widely used in extractive Korean document summarization systems. The dataset of performance evaluation is applied to news articles and editorials of AI Hub, and the effect according to document type is analyzed. And, the dataset is divided into two types according to the number of sentences in the document, and the effect on the length of the document is analyzed. The experimental results shows that Rouge score is the highest in the LSA and TF-IDF methods, and the effect of document length is little. The execution time of summarization is the shortest in the LSA method, which is shortened to 1/3 compared to the TF-IDF method. This is the reason that the LSA method can reduce the calculation amount through dimension reduction as well as reflect semantic similarity. Finally, we confirmed that the LSA method is the best in the extractive Korean document summarization based on TextRank.

참고자료

· 없음