대한민국 정부의 코로나 19 브리핑을 기반으로 구축된 수어 데이터셋 연구 (Sign Language Dataset Built from S. Korean Government Briefing)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 11권 / 8호 / 325 ~ 330페이지
· 저자명 : 심호현, 성호렬, 이승재, 조현중

초록

본 논문은 한국 수어에 대하여 수어 인식, 수어 번역, 수어 영상 시분할과 같은 수어에 관한 딥러닝 연구를 위한 데이터셋의 수집 및 실험을진행하였다. 수어 연구를 위한 어려움은 2가지로 볼 수 있다. 첫째, 손의 움직임과 손의 방향, 표정 등의 종합적인 정보를 가지는 수어의 특성에따른 인식의 어려움이 있다. 둘째, 딥러닝 연구를 진행하기 위한 학습데이터의 절대적 부재이다. 현재 알려진 문장 단위의 한국 수어 데이터셋은KETI 데이터셋이 유일하다. 해외의 수어 딥러닝 연구를 위한 데이터셋은 Isolated 수어와 Continuous 수어 두 가지로 분류되어 수집되며 시간이지날수록 더 많은 양의 수어 데이터가 수집되고 있다. 하지만 이러한 해외의 수어 데이터셋도 방대한 데이터셋을 필요로 하는 딥러닝 연구를 위해서는부족한 상황이다. 본 연구에서는 한국 수어 딥러닝 연구를 진행하기 위한 대규모의 한국어-수어 데이터셋을 수집을 시도하였으며 베이스라인 모델을이용하여 수어 번역 모델의 성능 평가 실험을 진행하였다. 본 논문을 위해 수집된 데이터셋은 총 11,402개의 영상과 텍스트로 구성되었다. 이를이용하여 학습을 진행할 베이스라인 모델로는 수어 번역 분야에서 SOTA의 성능을 가지고 있는 TSPNet 모델을 이용하였다. 본 논문의 실험에서수집된 데이터셋에 대한 특성을 정량적으로 보이고, 베이스라인 모델의 실험 결과로는 BLEU-4 score 3.63을 보였다. 또한, 향후 연구에서 보다정확하게 데이터셋을 수집할 수 있도록, 한국어–수어 데이터셋 수집에 있어서 고려할 점을 평가 결과에 대한 고찰로 제시한다.

영어초록

This paper conducts the collection and experiment of datasets for deep learning research on sign language such as sign languagerecognition, sign language translation, and sign language segmentation for Korean sign language. There exist difficulties for deep learningresearch of sign language. First, it is difficult to recognize sign languages since they contain multiple modalities including hand movements,hand directions, and facial expressions. Second, it is the absence of training data to conduct deep learning research. Currently, KETIdataset is the only known dataset for Korean sign language for deep learning. Sign language datasets for deep learning research areclassified into two categories: Isolated sign language and Continuous sign language. Although several foreign sign language datasets havebeen collected over time. they are also insufficient for deep learning research of sign language. Therefore, we attempted to collect alarge-scale Korean sign language dataset and evaluate it using a baseline model named TSPNet which has the performance of SOTAin the field of sign language translation. The collected dataset consists of a total of 11,402 image and text. Our experimental result withthe baseline model using the dataset shows BLEU-4 score 3.63, which would be used as a basic performance of a baseline model forKorean sign language dataset. We hope that our experience of collecting Korean sign language dataset helps facilitate further researchdirections on Korean sign language.

참고자료

· 없음