딥러닝 기반 OpenPose를 이용한 한국 수화 동작 인식에 관한 연구 (A Study on Korea Sign Language Motion Recognition Using OpenPose Based on Deep Learning)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 22권 / 4호 / 681 ~ 687페이지
· 저자명 : 김인혜, 정일홍

초록

기존의 수화에 대한 연구는 고가의 장비를 사용하거나 비수지 신호를 고려하지 않는 연구가 대부분이다. 이러한 문제를 개선하기 위해 RGB카메라를 이용하여 이미지를 얻고 기존의 수형만 인식하는 것에서 나아가 수화에 있어 상당한 비중을 차지하는 비수지 신호를 포함하여 수화를 인식하고자 한다. OpenPose 라이브러리를 이용하여 데이터에 손짓이나 몸짓 및 표정 등을 키포인트로 나타내어 비수지 신호로 포함하고 딥러닝 신경망 모델을 이용하여 데이터를 학습한 후 학습시킨 모델을 통하여 수화동작을 인식하는 방법을 제안한다. 학습에 사용한 딥러닝 모델은 GoogLeNet( InceptionV3)모델이다. 본 논문에서는 비수지 신호를 포함한 데이터를 학습하고 수화동작을 인식하므로 특정한 센서나 웨어러블 기기의 도움 없이 각 수화 동작에 대해 인식률을 높이는 것을 목표로 한다.

영어초록

Most of the studies on the existing sign language use expensive equipment or do not consider non-manual signals. In order to improve this problem, we intend to acquire an image using an RGB camera and recognize sign language by including non-manual signals, which take a considerable weight in sign language, beyond recognizing only the existing hand shape. By using the OpenPose library, hand gestures, body gestures, and facial expressions were represented in the data as key points and were included as the non-manual signals . In addition, we propose a method of learning data using a deep learning neural network model and recognizing sign language motion through the trained model. In this paper, the goal is to increase the recognition rate for each sign language motion without the help of a specific sensor or wearable device because it learns data including non-manual elements and recognizes sign language motions.

참고자료

· 없음