단어 간의 상대적 위치정보를 이용한 단어 임베딩 (Word Embedding using Relative Position Information between Words)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 45권 / 9호 / 943 ~ 949페이지
· 저자명 : 황현선, 이창기, 장현기, 강동호

초록

자연어처리에 딥 러닝을 적용하기 위해 사용되는 Word embedding은 단어를 벡터 공간상에 표현하는 것으로 차원축소 효과와 더불어 유사한 의미의 단어는 유사한 벡터 값을 갖는다는 장점이 있다.
이러한 word embedding은 대용량 코퍼스를 학습해야 좋은 성능을 얻을 수 있다. 그러나 기존에 자주 사용되던 word2vec 모델은 대용량 코퍼스 학습을 위해 모델을 단순화 하여 단어의 등장 비율을 주로 학습하게 되어 단어 간의 상대적 위치정보를 이용하지 않는다는 단점이 있다. 본 논문에서는 기존의 word embedding 학습 모델을 단어 간의 상대적 위치정보를 이용하여 학습할 수 있도록 수정하였다. 실험 결과 단어 간의 상대적 위치정보를 이용하여 word embedding을 학습 하였을 경우 word-analogy의 성능이 향상되었다.

영어초록

In Word embedding, which is used to apply deep learning to natural language processing, a word is expressed on a vector space. This has the advantage of dimension reduction, whereby similar words have similar vector values. Word embedding needs to learn large-scale corpus to get achieve good performance. However, the word2vec model, which has frequently been used in the past, has a disadvantage in that it does not use relative position information between words because it largely learns the word appearance rate by simplifying the model for large capacity corpus learning.
In this paper, we modified the existing word embedding learning model to enable it to learn using relative position information between words. Experimental results show that the performance of the word-analogy of the proposed modified word embedding learning model is improved when word embedding is learned using relative position information between words.

참고자료

· 없음