단어의 문맥 정보 확장을 위한 지식 임베딩 기법 (A Study on Knowledge Embedding Method for Extending Contextual Information of Words)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 20권 / 11호 / 29 ~ 38페이지
· 저자명 : 김예원, 김장원

초록

사전 학습 언어 모델은 대용량 텍스트 데이터를 학습에 사용하여 다양한 자연어 처리 분야에서 우수한 성능을 보인다. 단어의 문맥 정보를 반영한 임베딩 기법들은 사전 학습 모델의 성능에 중요한 역할을 한다. 그렇지만 문맥에 출현한 명시적 단어들의 문맥 정보만 임베딩에 사용되고 있으므로 단어들이 가질 수 있는 다양한 관계 정보를 동시에 임베딩에 반영하기 위한 임베딩 기법이 필요하다. 본 논문에서는 지식 임베딩 기법을 통해 문장에 출현한 개체가 트리플에서 주어 개체인 경우뿐만 아니라 목적어 개체인 경우까지 포함시켜 출현 개체가 가질 수 있는 지식 정보를 확장하여 임베딩에 반영하는 확장 방법을 제안한다. 제안 모델의 성능 평가 결과 기존 지식 기반 사전 학습 모델인 CoLAKE보다 우수한 성능을 보인다. 따라서 지식 임베딩을 통한 사전 학습 모델의 성능 향상을 통해 응용 분야 문제 해결에 도움을 줄 것으로 기대한다.

영어초록

The pre-training language model shows excellent performance in various natural language processing fields by using large amounts of text data for training. Embedding techniques that reflect contextual information of words play an important role in the performance of the pre-training model. However, since only the context information of explicit words appearing in the context is used for embedding, an embedding technique is needed to simultaneously reflect various relational information that words can have in embedding. In this paper, we propose an extension method that extends the knowledge information that the appearing entity can have and reflects it in embedding by including the case where the object appearing in the sentence is not only the subject object in the triple but also the object object through the knowledge embedding technique. As a result of the performance evaluation of the proposed model, it was confirmed that it showed better performance than CoLAKE, which is the existing knowledge-based pre-training model. Therefore, it is expected that it will help solve application problems by improving the performance of the pre-training model through knowledge embedding.

참고자료

· 없음