딥 러닝 기반의 제스처 인식 시스템 (Gesture Recognition System Based on Deep Learning)

서지정보

· 발행기관 : 한국재활복지공학회
· 수록지 정보 : 재활복지공학회논문지 / 16권 / 1호 / 19 ~ 26페이지
· 저자명 : 한영환

초록

본 논문은 동영상 데이터를 입력으로 하는 손 제스처 인식 기법을 제안한다. 제안된 기법은 손 골격의 주요 부위의 정보를 얻고 이를 기반으로 딥러닝 모델을 적용해 손 제스처를 인식한다. 이를 위해LSTM+GRU를 결합한 모델과 GUR+GRU를 결합한 모델을 제안하였다. 딥 러닝 모델을 사용하기 위해, 데이터 셋을 구성하여 각각의 모델을 학습한 후, 일반인을 대상으로 손 제스처를 인식하였다.
실험결과, 특정한 센서나 웨어러블 기기의 도움 없이 실시간 인식이 가능함을 확인하였다. 11개의 손 제스처에 대해 LSTM+GRU 모델의 평균 인식률 93.81%, GRU+GRU 모델의 평균 인식률 91.27%를 얻었다.
제안된 손 제스처 인식 시스템은 가상 현실, 장치 제어, 재활 치료와 같은 분야에 충분히 응용될 수 있을 것으로 기대된다.

영어초록

This paper proposes a hand gesture recognition method using dynamic image data as input. The proposed technique obtains skeleton information on major parts of the hand. It applies a deep learning model to recognize hand gestures. For this, a model combining LSTM+GRU and a model combining GUR+GRU were proposed. In order to use the deep learning model, each model was trained by constructing a data set and then hand gestures were recognized for the general public.
As a result of the experiment, it was confirmed that real-time recognition is possible without the help of a specific sensor or wearable device. For 11 hand gestures, the average recognition rate of the LSTM+GRU model was 93.81% and the average recognition rate of the GRU+GRU model was 91.27%. The proposed hand gesture recognition system is expected to be sufficiently applied in fields such as virtual reality, device control and rehabilitation cares.

참고자료

· 없음