워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구 (Class Language Model based on Word Embedding and POS Tagging)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 22권 / 7호 / 315 ~ 319페이지
· 저자명 : 정의석, 박전규

초록

음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다.

영어초록

Recurrent neural network based language models (RNN LM) have shown improvedresults in language model researches. The RNN LMs are limited to post processing sessions, such asthe N-best rescoring step of the wFST based speech recognition. However, it has considerablevocabulary problems that require large computing powers for the LM training. In this paper, we tryto find the 1st pass N-gram model using word embedding, which is the simplified deep neuralnetwork. The class based language model (LM) can be a way to approach to this issue. We have builtclass based vocabulary through word embedding, by combining the class LM with word N-gram LMto evaluate the performance of LMs. In addition, we propose that part-of-speech (POS) tagging basedLM shows an improvement of perplexity in all types of the LM tests.

참고자료

· 없음