멀티모달 딥러닝을 이용한 우울증 진단 모델 (Depression Detection model using Multimodal Deep Learning)

서지정보

· 발행기관 : 한국정보통신학회
· 수록지 정보 : 한국정보통신학회논문지 / 27권 / 5호 / 603 ~ 610페이지
· 저자명 : 유혜원, 오하영

초록

본 연구는 화자의 텍스트 신호와 음성 신호를 입력 값으로 하여 두 개의 모달리티를 융합하고, 우울증 여부를 탐지하는 모델을 제안한다. DAIC-WOZ 데이터셋을 바탕으로 CNN을 활용하여 음성 특징을, 트랜스포머를 활용하여 텍스트 특징을 추출한 후 텐서 퓨전 네트워크를 통해 두 개의 모달리티를 융합하였다. 또한 최종 레이어에서 LSTM을 사용하여 화자의 우울증 여부를 탐지하는 모델을 구축하였다. 본 연구는 일상 대화에서 환자 스스로 우울증 탐지를 가능하게 하여 정신 질환 진단에 대한 접근성을 높일 수 있다는 가능성을 제시한다. 본 연구에서 제안된 모델을 발전시켜 음성 대화 시스템을 연결한다면 주기적으로 병원을 방문할 수 없는 환자나 병원 방문에 대한 거부감이 있는 환자들이 보다 쉽게 자신의 상태를 점검하며 회복을 도모할 수 있을 것이다. 나아가 다양한 정신질환에 대한 멀티 레이블 분류로 확장하여 간편한 자가 정신 질환 진단 도구로 활용될 수 있을 것이다.

영어초록

This study proposes a model that fuses two modalities with the speaker's text and voice signals as input values and detects depression. Based on the DAIC-WOZ dataset, voice features were extracted using CNN, text features were extracted using Transformers, and two modalities were fused through a tensor fusion network. We also build a model to detect whether the speaker is depressed or not using LSTM in the final layer. This study suggests the possibility of increasing access to mental illness diagnosis by enabling patients to detect depression on their own in daily conversations. If the model proposed in this study is developed and the voice conversation system is connected, it will be easier for patients who cannot visit the hospital periodically or who are reluctant to visit the hospital to check their condition and seek recovery. Furthermore, it can be expanded to multi-label classification for various mental diseases and used as a simple self-mental disease diagnosis tool.

참고자료

· 없음