메타버스 대화의 몰입감 증진을 위한 대화 감정 기반 실시간 배경음악 시스템 구현 (Real-time Background Music System for Immersive Dialogue in Metaverse based on Dialogue Emotion)

서지정보

· 발행기관 : (사)한국컴퓨터그래픽스학회
· 수록지 정보 : 한국컴퓨터그래픽스학회논문지 / 29권 / 4호 / 1 ~ 6페이지
· 저자명 : 김기락, 이상아, 김나현, 정문열

초록

메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다.
본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.

영어초록

To enhance immersive experiences for metaverse environements, background music is often used. However, the backgroun d music is mostly pre-matched and repeated which might occur a distractive experience to users as it does not align well with rapidly changing user-interactive contents.
Thus, we implemented a system to provide a more immersive metaverse conversation experience by 1) developing a regre ssion neural network that extracts emotions from an utterance using KEMDy20, the Korean multimodal emotion dataset 2) s electing music corresponding to the extracted emotions from an utterance by the DEAM dataset where music is tagged with arousal-valence levels 3) combining it with a virtual space where users can have a real-time conversation with avatars.

참고자료

· 없음