이중흐름 3차원 합성곱 신경망 구조를 이용한 효율적인 손 제스처 인식 방법 (An Efficient Hand Gesture Recognition Method using Two-Stream 3D Convolutional Neural Network Structure)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 14권 / 6호 / 66 ~ 74페이지
· 저자명 : 최현종, 노대철, 김태영

초록

최근 가상환경에서 몰입감을 늘리고 자유로운 상호작용을 제공하기 한 손 제스처 인식에 한 연구가 활발히 진행 되고 있다. 그러나 기존의 연구는 특화된 센서나 장비를 요구하거나, 낮은 인식률을 보이고 있다. 본 논문은 정 손 제스처와 동 손 제스처 인식을 해 카메라 이외의 별도의 센서나 장비 없이 딥러닝 기술을 사용한 손 제스처 인식 방법을 제안한다. 일련의 손 제스처 상을 고주 상으로 변환한 후 손 제스처 RGB 상들과 이에 한 고주 상들 각각에 해 덴스넷 3차원 합성곱 신경망을 통해 학습한다. 6개의 정 손 제스처와 9개의 동 손 제스처 인터페이스에 해 실험한 결과 기존 덴스넷에 비해 4.6%의 성능이 향상된 평균 92.6%의 인식률을 보 다. 본 연구결과를 검증하기 하여 3D 디펜스 게임을 구한 결과 평균 34ms로 제스처 인식이 가능하여 가상실 응용의 실시간 사용자 인터페이스로 사용가능함을 알 수 있었다.

영어초록

Recently, there has been active studies on hand gesture recognition to increase immersion and provide user-friendly interaction in a virtual reality environment. However, most studies require specialized sensors or equipment, or show low recognition rates. This paper proposes a hand gesture recognition method using Deep Learning technology without separate sensors or equipment other than camera to recognize static and dynamic hand gestures. First, a series of hand gesture input images are converted into high-frequency images, then each of the hand gestures RGB images and their high-frequency images is learned through the DenseNet three-dimensional Convolutional Neural Network. Experimental results on 6 static hand gestures and 9 dynamic hand gestures showed an average of 92.6% recognition rate and increased 4.6% compared to previous DenseNet. The 3D defense game was implemented to verify the results of our study, and an average speed of 30 ms of gesture recognition was found to be available as a real-time user interface for virtual reality applications.

참고자료

· 없음