Wav2vec2.0 내부표현을 이용한 목소리 변환 기법 (Wav2vec2.0 Hidden Representations for Voice Conversion)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 61권 / 11호 / 141 ~ 149페이지
· 저자명 : 임재민, 김기연, 조성현, 이석복

초록

목소리 변환이란 특정 화자의 스피치 내용을 다른 화자의 목소리로 변환하는 작업이다. 기존의 머신러닝 기반 목소리 변환 기법들은 스피치 러닝 모델의 최종 아웃풋 표현(output speech representations)을 사용하여 서로 다른 화자의 목소리를 교환하는 방식을 취한다. 본 논문에서는 스피치 모델의 최종 표현이 아닌 내부 표현(hidden-layer representations)을 사용한 목소리 변환 기법을 제안한다. 본 논문에서는 wav2vec2.0 스피치 모델을 타겟으로하여 제안 기법의 성능을 평가하고, 기존 기법 대비 성능향상을 실증한다.

영어초록

The current practice of machine-learning based voice conversion is to use the final output representations (of speech learning models) for voice conversion purposes. In this work, we report that aggregate of hidden-layer representations is more useful for voice conversion---rather than the conventional approach of solely using the last-layer representations. We demonstrate this by applying our method to wav2vec2.0 model, which shows performance enhancement in comparison with SOTA VC models in terms of both voice similarity and speech intelligibility.

참고자료

· 없음