Word2vec 및 fastText 임베딩 모델의 성능 비교 (Performance Comparison of Word2vec and fastText Embedding Models)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 21권 / 7호 / 1335 ~ 1343페이지
· 저자명 : 강형석, 양장훈

초록

Word2vec 임베딩 모델은 단순하고 성능이 우수하기 때문에, 자연어 처리 분야에서 가장 널리 쓰이는 모델 중 하나이지만 몇 가지 한계도 있다. 이런 한계를 극복하기 위해 일반적인 언어에 적용 가능한 fastText 임베딩 모델이 제안되었고, 이후 한국어에 적합한 특정한 fastText 모델도 제안되었다. 본 연구는 유사도 검사, 유추 검사 및 감정 분석을 통해 몇 가지 word2vec 및 fastText 모델의 성능을 비교 평가하는 것을 목표로 한다. fastText 모델을 제안한 이전 연구의 결과와는 달리, 최소한 유추 검사와 감정 분석의 측면에서는 fastText 모델이 word2vec 모델보다 더 우수하다고 단정 지을 수 없다는 것이 본 연구의 결론이다. 특히 특정 다운스트림 태스크의 경우, word2vec 임베딩으로도 fastText 임베딩보다 작은 복잡도를 가지면서 유사하거나 더 나은 성능을 얻을 수 있음을 확인하였다.

영어초록

Due to the simple structure and excellent performance of a word2vec embedding model, it is one of the widely used models in the field of natural language processing but it also has some limitations. In order to overcome these limitations, fastText embedding models applicable to general languages were proposed and then a specific fastText model suitable for Korean was also developed recently. This study aims to compare and evaluate several word2vec and fastText models through similarity tests, analogy tests and sentiment analysis tasks. This study shows that unlike the results of previous studies that proposed fastText models, the fastText models cannot be concluded to be superior to word2vec model, at least in terms of analogy tests and sentiment analysis tasks. In particular, in the case of a specific downstream task, word2vec embeddings with less computational complexity can achieve desired performance as good as fastText embeddings

참고자료

· 없음