CBOW 모델의 손실값 개선에 관한 소고 (Minimizing the Loss Values in the CBOW Models)

서지정보

· 발행기관 : 한국컴퓨터정보학회
· 수록지 정보 : 한국컴퓨터정보학회논문지 / 30권 / 1호 / 65 ~ 72페이지
· 저자명 : 윤국범, 이정수

초록

CBOW 모델은 주변 단어로부터 표적 단어를 예측하는 분산 표현 방식의 자연어 처리 신경망 모델이다. CBOW 모델의 성능을 평가하는 데 있어 대표적인 벤치마크로 사용되는 PTB는 자연어 처리와 컴퓨터 언어학에서 중요한 역할을 하는 중형 말뭉치이며, 1989년 월스트리트 저널에서 발췌한2,499개의 기사로 구성되어, 약 100만개의 단어와 49,208개의 문장이 포함되어 있다. 본 논문은CBOW 모델에 배치정규화를 적용하여 PTB를 학습시켜 손실함수의 평균 손실값을 개선하는 것을목표로 한다. 논문의 목표를 구현하기 위해, CuPy를 탑재한 노트북 환경에서 기존 CBOW 모델과배치정규화 적용 모델을 비교 실험하였으며, 그 결과 평균 손실값이 1.25에서 0.65로 감소함을 확인하였다. 그러므로 본 논문은 CBOW 모델 성능 향상에 있어 배치정규화의 유효성을 입증하고, 전이학습을 위한 분산 표현의 정교화를 이루는 데 도움을 줄 것으로 기대된다.

영어초록

The Continuous Bag of Words (CBOW) model is a popular technique in natural language processing (NLP) used to generate word Embeddings. It predicts a target word given its surrounding context words.
The model consists of an input layer, a hidden layer, and an output layer. The PTB, which is commonly used as a benchmark for evaluating the performance of the CBOW model, is a medium-sized corpus that plays an important role in natural language processing and computational linguistics. It consists of 2,499 articles extracted from the Wall Street Journal in 1989, containing approximately 1 million words and 49,208 sentences. This paper aims to improve the average loss value of the loss function by applying batch normalization to the CBOW model and training it on the PTB dataset. To achieve the objective of this paper, experiments were conducted in a notebook environment equipped with CuPy, comparing the original CBOW model with the batch normalized CBOW model. The results shows that average loss value decreased from 1.25 to 0.65. Therefore, this paper demonstrates the effectiveness of batch normalization in improving the performance of the CBOW model and is expected to contribute to refining distributional representation of words for transfer learning.

참고자료

· 없음