도메인 정보가 강화된 워드 임베딩을 사용한 한국어 텍스트 생성 (Korean Text Generation Using Word Embedding Enhanced by Domain Information)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 29권 / 2호 / 142 ~ 147페이지
· 저자명 : 임미영, 강신재

초록

최근 순환신경망(Recurrent Neural Network, RNN)이 언어 모델링에서 두각을 나타냄에 따라 많은 연구들에서 해당 기법을사용하여 언어 모델링 연구를 수행하고 있다. RNN은 뉴스와 같은 정형화된 텍스트의 생성뿐만 아니라 소설, 수필과 같은창의적 텍스트 생성을 위한 시스템에도 쓰이고 있다. 영어권에서는 글쓰기를 위한 보조적 수단으로 사용된 연구가 있으나, 한국어에 관한 연구는 아직 부족하다. 한국어는 영어보다 어휘의 쓰임새나 형변환이 다양하기 때문에 난이도가 높다. 본논문에서는 도메인 정보가 강화된 워드 임베딩을 이용하여 한국어 텍스트 생성 모델을 구축하였다. 임베딩 층을 학습하기위해 두 가지 모델을 실험 하였는데 도메인 말뭉치만 가지고 임베딩 층을 학습하는 모델 1과 대용량의 일반 데이터를 먼저학습하고 도메인 말뭉치를 추가 학습하는 모델 2를 구축하여 실험을 수행하였다. 실험 결과, 두 모델 모두 한국어 창의적텍스트 생성의 가능성을 보여 주었는데 모델 2를 통해 생성된 데이터는 창의성 면에서, 즉 수사적 단어의 활용 면에서 모델1보다 나았고 통사적 면에서는 모델 1이 좀 더 깔끔한 문장을 생성하였다.

영어초록

Recently, along with recurrent neural networks’ (RNN) notable performances, lots of language modeling systems are built upon RNN. The architecture is not only used to generate standard text like news articles, but also utilized in creative text generation, for instance, novels and essays. Among studies on English language, an auxiliary model suggesting the next sentence to users who are writing creative essays has been proposed. Meanwhile, Research on Korean language generation is not enough yet. This paper suggests a language generation system to generate creative texts in Korean based on previous researches done on English and word embedding enhanced by domain information. In the system, to learn the weights of embedding layer, two models are suggested. Model 1 learns the weights only through domain corpus, and Model 2 learns the weight using the large general corpus first followed by domain corpus. The texts generated by Model 2 was more creative, which means learned rhetorical words’ usage better than Model 1. In the aspects of syntax, Model 1 was better than Model 2.

참고자료

· 없음