디노이징 메커니즘을 통한 한국어 대화 모델 정규화 (Regularizing Korean Conversational Model by Applying Denoising Mechanism)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 45권 / 6호 / 572 ~ 581페이지
· 저자명 : 김태형, 노윤석, 박성배, 박세영

초록

대화 시스템은 입력 발화에 대해 적절한 응답을 해주는 시스템으로 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 모델을 많이 이용한다. 하지만 해당 방식으로 학습한 대화 모델은 적절한 정보나 호응을 보이지 않는 안전하고 무미건조한 응답을 생성하거나 어미, 어순 변화 등 다양한 형태로 변형된 입력 발화에 대해 적절한 응답을 생성하지 못하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 디노이징 메커니즘을 적용한 디노이징 응답 생성 모델을 제안한다. 제안 모델은 입력 발화에 임의의 노이즈를 가해 원래의 출력을 학습함으로써 매 반복 학습마다 확률적으로 새로운 입력 데이터를 경험하게 한다. 이를 통해 모델을 정규화하여 모델이 강건한 응답을 생성할 수 있도록 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 한국어 대화 데이터로 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델보다 ROUGE F1 점수와 사람이 평가한 정성 평가 모두에서 더 우수한 결과를 보였다.

영어초록

A conversation system is a system that responds appropriately to input utterances.
Recently, the sequence-to-sequence framework has been widely used as a conversation-learning model. However, the conversation model learned in such a way often generates a safe and dull response that does not provide appropriate information or sophisticated meaning. In addition, this model is also useless for input utterances appearing in various forms, such as with changed ending words or changed word order. To solve these problems, we propose a denoising response generation model applying a denoising mechanism. By injecting noise into original input, the proposed method creates a model that will stochastically experience new input made up of items that were not included in the original data during the training process. This data augmentation effect regularizes the model and allows the realization of a robust model. We evaluate our model using 90k input utterances-responses from Korean conversation pair data. The proposed model achieves better results compared to a baseline model on both ROUGE F1 score and qualitative evaluations by human annotators.

참고자료

· 없음