소량의 대화 말뭉치에서 학습 가능한 효과적인 생성 기반 챗봇 모델 (Effective Generative Chatbot Model Trainable with a Small Dialogue Corpus)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 46권 / 3호 / 246 ~ 252페이지
· 저자명 : 김진태, 이현구, 김학수

초록

잘 알려진 검색 기반 챗봇 모델과 다르게 생성 기반 챗봇 모델은 사전에 정의된 응답에 의존하지 않고 학습된 신경망 모델을 사용하여 새로운 응답을 생성한다. 하지만 생성 기반 챗봇 모델은 발화- 응답 쌍의 형태를 가진 대용량의 대화 말뭉치가 필요하다. 학습 말뭉치가 충분하지 않은 경우 구문론적 오류가 발생한다. 본 논문은 이 문제를 해결하기 위해 인코딩-디코딩 단위를 형태소와 음절이 복합적으로 사용된 시퀀스-투-시퀀스 신경망 기반의 챗봇을 제안한다. 또한 대용량의 비 대화 말뭉치를 이용하여 사전 학습하고 소량의 대화 말뭉치를 이용하여 재학습하는 2단계 학습 방법을 제안한다. 소량의 대화 말뭉치(47,089개의 발화-응답 쌍 학습 데이터와 3,000개의 발화-응답 쌍 평가 데이터)를 사용한 실험에서 제안한 인코딩-디코딩 단위는 미등록어 문제를 감소시키는데 도움을 주었고, 2단계 학습 방법은 BLEU와 ROUGE와 같은 성능 향상에 도움을 주었다.

영어초록

Contrary to popular retrieval-based chatbot models, generative chatbot models do not depend on predefined responses, but rather generate new responses based on well-trained neural networks. However, they require a large number of training corpus in the form of query-response pairs. If the training corpus are insufficient, they make grammatical errors emanating from out-of-vocabulary or sparse data problems, mostly in longer sentences. To overcome this challenge, we proposed a chatbot model based on sequence-to-sequence neural network using a mixture of words and syllables as encoding-decoding units. Moreover, we proposed a two-step training procedure involving pre-training using a large non-dialogue corpus and retraining using a smaller dialogue corpus. In the experiment involving small dialogue corpus (47,089 query-response pairs for training and 3,000 query-response pairs for evaluation), the proposed encoding-decoding units resulted to a reduction in out-of-vocabulary problem while the two-step training method led to improved performance measures like BLEU and ROUGE.

참고자료

· 없음