3D CNN-LSTM 알고리즘을 이용한 손동작 비디오 영상 분류 (3D CNN-LSTM Algorithm for Hand Gesture Video Classificaion)

서지정보

· 발행기관 : 한국산학기술학회
· 수록지 정보 : 한국산학기술학회논문지 / 25권 / 9호 / 878 ~ 885페이지
· 저자명 : 김민주, 고진환

초록

손동작 인식은 이미지나 비디오 데이터로부터 인간의 동작 및 제스처를 식별하는 행동인식기술의 한 형태이다. 디지털 기술의 발전으로 제품에 스마트 기능이 추가되는 사례가 많아지면서 동작인식의 편리성과 효율성도 강조 되고 있다. 본 연구는 손동작 인식을 시도하기 위한 과정으로, 손동작을 기반으로 클래스를 나누어 각각의 클래스를 분류해내는 비디오 분류 연구를 진행한다. 비디오 영상 자체로 딥러닝 분류를 하게 되면 정확도도 높으며, 이미지를 통한 비디오 분류보다 다양한 분야에서 활용이 가능하다는 장점이 있다. 제시된 알고리즘은 3D CNN(Convolutional neural network)과 LSTM(Long Short-Term Memory)이 결합된 형태로 이루어져 있다. 개발한 3D CNN은 이미지나 비디오의 특징 추출에 주로 사용하는 2D CNN 중 ResNet-18의 구조에서 고안하였다. LSTM은 순차 데이터를 학습, 처리, 분류하는 데 주로 사용되고 있는 RNN(Recurrent Neural Network)중의 한 종류이다. 3D CNN을 통해 비디오의 특징을 추출하고, LSTM을 통해 추출된 특징의 시퀀스를 학습 후 각 비디오 시퀀스를 손동작의 변화를 기준으로 하는 다섯 가지 클래스로 분류하였으며 비디오 분류 결과 정확도 평균 87%를 보여 주었다.

영어초록

Hand gesture recognition is a subset of motion recognition technology that identifies human actions from image or video data. With the advancement of digital technology and the increasing integration of smart functions into products, the convenience and efficiency of motion recognition have become more prominent. This research aims to explore the process of hand gesture recognition by classifying video sequences based on hand gestures. The research focuses on video classification using deep learning techniques, which offer higher accuracy and broader applicability compared to image-based video classification. The proposed algorithm combines a 3D Convolutional Neural Network (3D CNN) with a Long Short-Term Memory network (LSTM). The developed 3D CNN is based on the ResNet-18 architecture, which is commonly used for feature extraction in images and videos. The LSTM, an extension of the Recurrent Neural Network (RNN), is employed to learn, process, and classify sequential data. The 3D CNN extracts features from video sequences, and the LSTM learns these feature sequences to classify each video sequence into one of five classes based on variations in hand gestures. The combined network, utilizing 3D CNN for feature extraction and LSTM for sequence learning, provides a robust approach to classify hand gestures in video sequences, demonstrating potential for diverse applications in various fields. The video classification accuracy reached approximately 87%.

참고자료

· 없음