딥러닝을 활용한 한국어 스피치 애니메이션 생성에 관한 고찰 (A Study on Korean Speech Animation Generation Employing Deep Learning)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 12권 / 10호 / 461 ~ 470페이지
· 저자명 : 강석찬, 김동주

초록

딥러닝을 활용한 스피치 애니메이션 생성은 영어를 중심으로 활발하게 연구되어왔지만, 한국어에 관해서는 사례가 없었다. 이에, 본 논문은최초로 지도 학습 딥러닝을 한국어 스피치 애니메이션 생성에 활용해 본다. 이 과정에서, 딥러닝이 스피치 애니메이션 연구를 그 지배적 기술인음성 인식 연구로 귀결시킬 수 있는 중요한 효과를 발견하게 되어, 이 효과를 한국어 스피치 애니메이션 생성에 최대한 활용하는 방법을 고찰한다.
이 효과는 연구의 최우선 목표를 명확하게 하여, 근래에 들어 활발하지 않은 한국어 스피치 애니메이션 연구를 효과적이고 효율적으로 재활성화하는데 기여할 수 있다. 본 논문은 다음 과정들을 수행한다: (i) 블렌드쉐입 애니메이션 기술을 선택하며, (ii) 딥러닝 모델을 음성 인식 모듈과 표정코딩 모듈의 주종 관계 파이프라인으로 구현하고, (iii) 한국어 스피치 모션 캡처 dataset을 제작하며, (iv) 두 대조용 딥러닝 모델들을 준비하고(한 모델은 영어 음성 인식 모듈을 채택하고, 다른 모델은 한국어 음성 인식 모듈을 채택하며, 두 모델이 동일한 기본 구조의 표정 코딩 모듈을채택한다), (v) 두 모델의 표정 코딩 모듈을 음성 인식 모듈에 종속되게 학습시킨다. 유저 스터디 결과는, 한국어 음성 인식 모듈을 채택하여 표정코딩 모듈을 종속적으로 학습시킨 모델 (4.2/5.0 점 획득)이, 영어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (2.7/5.0점 획득)에 비해 결정적으로 더 자연스러운 한국어 스피치 애니메이션을 생성함을 보여 주었다. 이 결과는 한국어 스피치 애니메이션의 품질이한국어 음성 인식의 정확성으로 귀결됨을 보여 줌으로써 상기의 효과를 확인해준다.

영어초록

While speech animation generation employing deep learning has been actively researched for English, there has been no prior workfor Korean. Given the fact, this paper for the very first time employs supervised deep learning to generate Korean speech animation.
By doing so, we find out the significant effect of deep learning being able to make speech animation research come down to speechrecognition research which is the predominating technique. Also, we study the way to make best use of the effect for Korean speechanimation generation. The effect can contribute to efficiently and efficaciously revitalizing the recently inactive Korean speech animationresearch, by clarifying the top priority research target. This paper performs this process: (i) it chooses blendshape animation technique,(ii) implements the deep-learning model in the master-servant pipeline of the automatic speech recognition (ASR) module and the facialaction coding (FAC) module, (iii) makes Korean speech facial motion capture dataset, (iv) prepares two comparison deep learning models(one model adopts the English ASR module, the other model adopts the Korean ASR module, however both models adopt the same basicstructure for their FAC modules), and (v) train the FAC modules of both models dependently on their ASR modules. The user studydemonstrates that the model which adopts the Korean ASR module and dependently trains its FAC module (getting 4.2/5.0 points) generatesdecisively much more natural Korean speech animations than the model which adopts the English ASR module and dependently trainsits FAC module (getting 2.7/5.0 points). The result confirms the aforementioned effect showing that the quality of the Korean speechanimation comes down to the accuracy of Korean ASR.

참고자료

· 없음