대화 요약 생성을 위한 한국어 방송 대본 데이터셋의 구축 및 검증 (KMSS: Korean Media Script Dataset for Dialogue Summarization)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 51권 / 4호 / 311 ~ 325페이지
· 저자명 : 김봉수, 김지윤, 최승호, 전현규, 전혜진, 정혜인, 장정훈

초록

대화 요약은 다중 발화자와 발화문으로 이루어진 멀티턴 형식의 문서에 대해 핵심 내용을 추출하거나 생성하는 태스크이다. 대화 요약 모델은 추천, 대화 시스템 등에 콘텐츠, 서비스 기록에 대한 분석을 제공하는데 유용하다. 본 논문에서는 생성 기반 대화 요약을 위한 데이터셋을 제안한다. 이를 위해 국내 방송사의 대용량 콘텐츠로부터 원천 데이터를 수집하고, 주석자가 수작업으로 주석 하였다. 구축된 데이터셋 규모는 6개 카테고리에 대해 약 100,000건이며, 요약문은 단문장, 세문장, 2할문장으로 구분되어 주석 되었다. 본 논문에서는 데이터의 특성을 내재화하고 통제할 수 있도록 대화 요약 주석 가이드를 제안한다. 또한 모델 적합성 검증에 사용될 모델 구조의 선정 방식을 제시함으로써, 데이터 특성을 고려한 모델 개선 방향에 대한 통찰력을 제공한다. 실험을 통해 구축된 데이터의 여러 특성을 조명하고, 후속 연구를 위한 기준 성능을 제시한다. 데이터와 베이스라인 모델은 aihub.or.kr에 배포 되었다.

영어초록

Dialogue summarization involves extracting or generating key contents from multi-turn documents consisting of utterances by multiple speakers. Dialogue summarization models are beneficial in analyzing content and service records for recommendations in conversation systems. However, there are no Korean dialogue summarization datasets necessary for model construction. This paper proposes a dataset for generative-based dialogue summarization. Source data were collected from the large-capacity contents of domestic broadcasters, and annotators manually labeled them. The dataset comprises approximately 100,000 entries across 6 categories, with summary sentences annotated as single sentences, three sentences, or two-and-a-half sentences. Additionally, this paper introduces a dialogue summary labeling guide to internalize and control data characteristics. It also presents a method for selecting a decoding model structure for model suitability verification. Through experiments, we highlight some characteristics of the constructed data and present benchmark performances for future research.

참고자료

· 없음