비원어민 한국어 발음 평가를 위한 자기 지도 학습 기반 한국어 음소 인식 (Self-supervised learning-based Korean phoneme recognition for evaluating Korean pronunciation of non-native speakers)

서지정보

· 발행기관 : 한국음성학회
· 수록지 정보 : 말소리와 음성과학 / 17권 / 1호 / 51 ~ 61페이지
· 저자명 : 경나, 나희정, 박지은, 박정식

초록

비원어민의 한국어 발음 평가를 위해서는 음소 인식뿐만 아니라 발음 오류를 정확하게 탐지할 수 있는 모델이 필요하다. 자기 지도 학습(self-supervised learning) 기반 음성 인식에서 대량의 음성 자료를 통해 구축된 사전 학습(pre-trained) 모델은 정밀한 음성 인식을 가능하게 하는 것으로 알려져 있다. 특히 Wav2Vec2.0 및 Whisper와 같은 모델들은 여러 연구에서 우수한 한국어 음성 인식 성능을 보였으며, Whisper 모델은 특히 뛰어난 성능을 나타냈다. SUPERB 벤치마크를 통해 다양한 사전 학습 모델을 비교한 결과, 음소 인식 분야에서의 성과도 입증되었다. 그러나 비원어민 화자의 발화 특성을 반영하여 실제 발화에 정교하게 맞춘 레이블 데이터의 부족으로 비원어민의 한국어 음소 인식 성능을 높이는 데 한계가 존재한다. 따라서, 비원어민의 한국어 발음 평가 모델을 구축하기 위해서는 정확한 레이블을 갖춘 데이터의 확보가 중요하다. 본 연구에서는 사전 학습된 Whisper 모델을 활용하여 비원어민의 한국어 발음 평가를 위한 한국어 음소 인식 모델을 개발한다. AIHub에서는 아시아, 중국, 일본, 유럽, 영어권 비원어민의 한국어 교육용 음성 데이터를 대량으로 제공하고 있어 이를 모델의 미세 조정(fine-tuning)을 위한 데이터로 활용한다. 그러나, 제공된 음소 레이블의 정확도가 매우 떨어지는 문제가 있어, 한국인이 명료하게 발음한 “뉴스 대본 및 앵커 음성 데이터”를 추가로 활용하여 정확한 한국어 음소 발음을 학습시킨다. 이 두 데이터로부터 구축한 모델을 통해 비원어민 한국어 음성 데이터의 음소 레이블을 실제 발음에 맞게 수정하고, 이를 다시 미세 조정에 적용하여 비원어민 한국어 음소 인식 모델을 구축한다. 이 같은 과정을 몇 차례 단계별로 수행하여 미세 조정 모델을 지속적으로 갱신한다. 최종적으로 구축한 모델의 유효성을 평가하기 위해 비원어민의 한국어 발화 음성과 원어민의 한국어 음성을 대상으로 음소 인식 실험을 진행한 결과, 기본 모델에 비해 음소 인식 성능이 유의미하게 향상되었음을 확인하였다.

영어초록

To evaluate the Korean pronunciation of non-native speakers, it is essential to develop models capable of recognizing Korean phonemes and detecting pronunciation errors at the phoneme level. Self-supervised learning models, such as Wav2Vec2.0 and Whisper, which were trained on large-scale speech data, have demonstrated strong performance in Korean speech recognition. However, their phoneme recognition accuracy for non-native speakers may be limited because of the lack of labeled data reflecting the unique characteristics of non-native speech. In this study, we developed a Korean phoneme recognition model tailored for non-native speakers by fine-tuning the pretrained Whisper model with Korean language education data from AIHub. This dataset includes speech samples from non-native speakers of various nationalities. In particular, to address the issue of the low phoneme label accuracy in this corpus, we proposed a method to improve label quality by incorporating news data clearly articulated by native Korean news anchors with the AIHub data. The refined dataset was then used for further fine-tuning, resulting in improved phoneme recognition performance. Experiments on Korean phoneme recognition with non-native speakers showed a significant increase in accuracy compared to models trained without the refined data.

참고자료

· 없음