개체명 사실 판별을 통한 기계 요약의 사실 불일치 해소 (Solving Factual Inconsistency in Abstractive Summarization using Named Entity Fact Discrimination)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 3호 / 231 ~ 240페이지
· 저자명 : 신정완, 노윤석, 송현제, 박세영

초록

기계 요약의 사실 불일치 문제란 요약 모델이 생성한 요약문이 원문과 사실이 일치하지 않는 문제다. 사실 불일치는 개체명에서 주로 발생하므로 기존 연구들은 요약문의 잘못된 개체명을 교정하여 사실적 불일치를 해결하였다. 하지만, 명시적인 개체명 사실 불일치 판별 없이 모든 개체명을 순차적으로 교정하거나 모두 마스킹하여 교정을 시도하였다. 모든 개체명을 교정하는 연구는 원문과 일치하는 개체명도 교정을 시도하는 문제점과 마스킹되어 사실 정보임에도 불구하고 정보를 손실시키는 문제가 발생한다. 본 논문에서는 기존 연구들의 단점을 해결하기 위해 개체명 사실 여부를 판별한 뒤 사실 불일치 개체명에 대해서만 교정을 하는 방법을 제안한다. 이를 통해 사실 불일치 개체명이 발생시키는 오류를 방지할 수 있으며, 반대로 사실 일치 개체명에 대한 정보를 최대한 활용할 수 있다. 실험을 통해 제안한 방법이 기존 연구들보다 요약문의 사실 불일치를 잘 해소함을 보였다.

영어초록

Factual inconsistency in abstractive summarization is a problem that a generated summary can be factually inconsistent with a source text. Previous studies adopted a span selection that replaced entities in the generated summary with entities in the source text because most inconsistencies are related to incorrect entities. These studies assumed that all entities in the generated summary were inconsistent and tried to replace all entities with other entities. However, this was problematic because some consistent entities could be replaced and masked, so information on consistent entities was lost. This paper proposes a method that sequentially executes a fact discriminator and a fact corrector to solve this problem. The fact discriminator determines the inconsistent entities, and the fact corrector replaces only the inconsistent entities. Since the fact corrector corrects only the inconsistent entities, it utilizes the consistent entities. Experiments show that the proposed method boosts the factual consistency of system-generated summaries and outperforms the baselines in terms of both automatic metrics and human evaluation.

참고자료

· 없음