CNN 기반 말더듬 자동 분류: 말더듬 반복과 연장 인식 (CNN-based automatic classification of stuttering: Detection of repetitions and prolongations in stuttered speech)

서지정보

· 발행기관 : 한국음성학회
· 수록지 정보 : 말소리와 음성과학 / 16권 / 4호 / 63 ~ 72페이지
· 저자명 : 박진, 이창균

초록

본 연구는 CNN 기반의 딥러닝 알고리즘을 활용하여 말더듬 화자의 반복 및 연장 비유창성 유형을 자동으로 식별하는 방법을 개발하고, 그 성능을 검증하는 것을 목적으로 한다. 연구에 사용된 데이터는 LibriStutter 데이터셋으로, 해당 음성 데이터를 MFCC(mel frequency cepstral coefficients)로 전처리하여 CNN(convolutional neural network) 모델의 학습에 사용하였다. 그리드 방식을 활용한 최적화된 하이퍼파라미터를 적용하여 반복과 연장 식별 모델을 구축한 결과, 0.9912의 정확도와 0.0544의 손실을 나타내며 우수한 성능을 보였다. 네 가지 비유창성 유형(음소 반복, 단어 반복, 구 반복, 연장) 중 음소 반복과 연장에서는 높은 분류 성능을 확인하였으나, 단어 반복과 구 반복 간의 분류 성능이 상대적으로 낮아 향후 개선이 필요한 것으로 판단되었다. 본 연구는 자동화된 비유창성 평가가 가능함을 보여주며, 향후 다양한 데이터셋과 다중 양식(multi-modal) 접근을 통해 임상적 적용 가능성을 높이는 연구가 필요할 것이다.

영어초록

This study aims to develop and validate a CNN-based deep learning algorithm to automatically classify repetition and prolongation disfluency types in stuttered speech. The LibriStutter dataset was used, and the speech data were pre-processed into mel-frequency cepstral coefficients (MFCCs) to train a convolutional neural network (CNN) model. With optimized hyperparameters using the GRID search method, the model achieved high performance, with an accuracy of 0.9912 and a loss of 0.0544. Among the fluent speech and four disfluency types (sound repetitions, word repetitions, phrase repetitions, and prolongations), the model demonstrated strong classification performance for sound repetitions and prolongations, while the classification accuracy for word and phrase repetitions was comparatively lower, indicating areas for future improvement. This study demonstrates the feasibility of automated stuttering disfluency assessment and suggests further research to enhance clinical applicability by incorporating diverse datasets and multi-modal approaches.

참고자료

· 없음