손 제스처 인식을 위한 특징 강화 CNN 알고리즘과 사용자 의사 결정 판단 (Hand Feature Enhancement and User Decision Making for CNN Hand Gesture Recognition Algorithm)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 57권 / 2호 / 60 ~ 70페이지
· 저자명 : 장창영, 김태용

초록

본 연구에서는 디지털카메라의 영상과 Kinect의 스켈레톤 정보를 이용하여 사용자의 의사 결정을 판단하고 손 제스처를 인식하는 시스템을 구현하였다. 사용자의 디바이스 제어 의사를 판단하기 위하여 스켈레톤 정보에서 손의 위치와 머리의 위치를 이용하였고 디바이스 제어를 원하는 사용자의 손을 스켈레톤 좌표와 Shift 방식을 통하여 추적하였다. 사용자의 손 포즈를 인식하기 위하여 CNN(Convolutional Neural Network)을 사용하였다. CNN 학습에 사용할 이미지는 피부색을 기준으로 이진화 된 이미지를 사용했고 CNN의 손 포즈 인식 성능을 향상시키기 위하여 손의 특징을 강화하는 방법을 사용하였다. 세선화를 이용하여 손 포즈 인식에 필요 없는 손의 특징들을 소거했고 컨벡스 헐을 통하여 손가락 끝 점들을 찾고 손 끝 점들을 강화하였다. 그 결과 매우 뛰어난 인식 정확도를 보였고 이 연구를 통하여 TV나 에어컨 같은 디바이스에서 활용이 가능할 것으로 기대된다.

영어초록

In this study, we implemented a system that judges user's decision and recognizes hand gesture using digital camera image and Kinect's skeleton information. In order to determine the user's intention to control the device, the hand position and the head position are used in the skeleton information, and the user's hand for device control is tracked using the skeleton coordinates and the shift method. In order to recognize the hand pose of the user, CNN (Convolutional Neural Network) was used. The image to be used for CNN learning is based on the binary image based on skin color, and the hand feature enhancement method is used to improve CNN's hand pose recognition performance. Thinning was used to eliminate hand features that were not needed for hand pose recognition, and convex hulls were used to find fingertip points and enhance handtip points. As a result, it showed very good recognition accuracy and is expected to be used in devices such as TV and air conditioner through this study.

참고자료

· 없음