시간 및 주파수 영역 특징 기반 양방향 LSTM 모델을 이용한 음성감정인식 기법 (Speech Emotion Recognition using Time and Frequency Domain Feature based Bidirectional LSTM Model)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 19권 / 6호 / 18 ~ 29페이지
· 저자명 : 민동진, 김덕환

초록

현재 음성에서 감정 상태를 이해하기 위해 강조, 음높이 변화 및 맥락과 같은 감정적 특징을 인식하는 다양한 음성감정인식(Speech Emotion Recognition)연구가 활성화 되고 있다. 본 논문은 음성 데이터에서 감정적 단서를 찾기 위해 시간 영역과 주파수 영역의 다양한 특징을 추출하고 강조, 음높이 변화를 통해 감정을 인식하는 신경망 모델을 개발하고자 한다. 부족한 데이터 셋으로 인한 과대적합을 예방하기 위해 컴퓨터 비전 분야에서 활용되는 데이터 증강 기법을 적용하였다. 또한 음성 데이터의 전처리를 수행하고 시간 영역에서 제로 크로싱 비율 (ZCR)과 RMS (Root mean square) 에너지 특징을 추출하였고 주파수 영역에서 멜 주파수 켑스트랄 계수 (MFCCs), 주파수 대역폭(Spectral Bandwidth), 주파수 중심 (Spectral Centroid), 주파수 롤오프의 최대, 최소 값(Spectral Rolloff Max and Min) 같은 스펙트럴 특징을 추출하였다. 과거와 미래의 정보를 저장할 수 있어 불연속적인 음성 데이터의 과거와 미래의 정보를 효과적으로 학습할 수 있는 양방향 LSTM 신경망 모델을 제안하였으며, 8가지 감정표현(중립, 차분함, 행복, 슬픔, 분노, 두려움, 혐오, 놀람)이 포함되어 있는 RAVDESS와 7가지 감정표현(중립, 행복, 슬픔, 분노, 두려움, 혐오, 놀람)이 포함되어 있는 TESS 데이터 셋에 대하여 각각 99.21%, 98.24%의 정확도를 확인하였다. 향후 연구에서는 음성 감정 인식 분야의 주요 어려움 중 하나인 적은 데이터 셋 문제를 메타러닝 기법을 활용하여 해결할 계획이다.

영어초록

Currently, various studies are actively underway to understand emotional states in speech, recognizing emotional features such as emphasis, pitch changes, and context. This paper aims to develop a neural network model that extracts various features from the time and frequency domains in speech data and recognizes emotions through emphasis and pitch changes. To prevent underfitting and overfitting due to limited datasets, data augmentation techniques commonly used in computer vision were applied. Additionally, preprocessing of the speech data was performed and the time domain features such as Zero Crossing Rate (ZCR) and Root Mean Square (RMS) energy were extracted. Similarly, the frequency domain spectral features such as Mel-frequency cepstral coefficients (MFCCs), Spectral Bandwidth, Spectral Centroid, and Spectral Rolloff Max and Min were extracted. To effectively handle discontinuous speech data by storing past and future information, a bidirectional LSTM model was proposed. On the RAVDESS dataset, which includes eight types of emotional expressions (neutral, calm, happy, sad, angry, fearful, disgusted, surprised), and the TESS dataset, which includes seven types of emotional expressions (neutral, happy, sad, angry, fearful, disgusted, surprised), we confirmed accuracies of 99.21% and 98.24%, respectively. In future research, we plan to address one of the major challenges in the field of speech emotion recognition, the scarcity of datasets, by utilizing meta-learning techniques.

참고자료

· 없음