KLSG : 한국어 기반 대용량 음성 행동 데이터셋 (KLSG : Korean-based Large-scale Co-Speech Gesture Dataset)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 23권 / 11호 / 2269 ~ 2282페이지
· 저자명 : 황대원, 정정민, 서봉원, 서경진

초록

음성과 행동은 사람의 의사소통에 매우 중요한 요소로 이들 사이의 특성을 파악하는 연구는 오랜 연구 주제이다. 양질의 음성 기반 행동 데이터는 연구적으로 그리고 산업적으로 다양한 활용성을 갖고 있다. 하지만 이 데이터는 주로 영어 언어에 국한되며 크기와 모달의 종류에 한계가 있다. 이에 본 연구는 761시간 분량의 한국어 기반 대용량 음성 행동 데이터셋(KLSG)을 수집하여 제안한다. 본 데이터셋은 발화자의 음성과 동작을 촬영하고 수집한 데이터를 동기화하였다. 또한 다시점 영상, 전사, 발화 감정 등 다양한 멀티 모달 데이터를 함께 제공한다. KLSG의 유효성을 파악하기 위해 선행 연구를 활용해 벤치마크 데이터와 비교 평가 진행하였다. 결과적으로 데이터의 특성은 비슷하며 한국인의 음성과 행동 특성을 포함함을 확인하였다.

영어초록

As speech and motion play a essential role in communication, studying co-speech gesture is a long-standing research topic. High-quality audio and gesture data are desired in both research and industry fields. However, only English-based audios are available and types of modality are also limited. In this study, we collect and propose 761 hours of Korean-based large-scale co-speech gesture dataset (KLSG) annotated with the multi-modal information, such as multi-view videos, script, emotions, etc. All corresponding data are synchronized with speech audio time. To verify the validity of KSLG dataset, we compared the results of various co-speech gesture generation tasks using KSLG and a benchmark dataset. The result shows that our dataset has similar characteristics with the benchmark dataset when training gesture generation models. A user study also suggests that our dataset contains Korean speech and behavior features.

참고자료

· 없음