생성 요약 향상을 위한 가중치 문맥 벡터 기반 BART 모델 (Weighted Context Vector-based BART Model for Improving Abstractive Summarization)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 19권 / 10호 / 19 ~ 27페이지
· 저자명 : 조성국, 온병원

초록

생성 요약은 원본 텍스트의 중요한 정보만을 포함한 짧은 텍스트이다. 본 논문의 제안 방안은 먼저 주어진 원본 텍스트의 문장들을 추출기를 통해 중요한 문장과 그렇지않은 문장으로 분류한다. 그런 다음, BART의 파인 튜닝 과정에서 중요한 문장에 해당하는 인코더 문맥 벡터의 크기를 조절한다. 그렇게 함으로써, 중요한 문장과 그렇지 않은 문장이라는 두 그룹 사이의 마진을 늘려 클러스터링 효과를 줄 수 있다. 결과적으로 제안 방안인 수정된 BART 모델은 이와 같은 방식으로 클러스터링 패턴을 학습하여 기존의 파인 튜닝 방식보다 높은 성능을 보여줄 수 있다. 실험 결과, 제안 방안으로 파인 튜닝한 BART가 ROUGES score에서 최대 3%, BERT score에서 0.2% 향상된 성능을 보인다.

영어초록

An abstractive summary is a short text containing only salient information from the original text. In our work, given an original text, the Extractor first classifies whether each sentence is salient or not. Then, in fine-tuning BART, by a weight, scaling the context vectors of the encoder corresponding to the salient sentences can give the effect of clustering by increasing the margin between two clusters – One contains salient sentences and the other non-salient ones. Consequently, our modified BART model can show high performance by learning these clustering patterns. Our experimental results show that BART using the proposed method improves up to 3% in ROUGE score and 0.2% in BERT score.

참고자료

· 없음