관절 좌표 이미지 패치를 이용한 다중 스트림 신경망을 통한 수화 인식 (Sign Language Recognition with Multi-Stream Neural Network Using Joint Point Image Patches)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 48권 / 6호 / 669 ~ 676페이지
· 저자명 : 강현석, 박광현

초록

최근 들어 딥러닝(Deep Learning)과 기계학습(Machine Learning) 알고리즘을 이용한 수화 인식에 관한 연구가많이 진행되고 있다. 다양한 종류의 정보를 요구하는 수화의 특성 때문에 단어 단위 수화 인식은 다양한 방법론들이 제시되었다. 수화 인식에 대한 기법은 이미지 기반의 방법과 자세 기반의 방법으로 나뉜다. 초반에는 이미지기반의 합성곱 신경망을 이용하는 방법들이 나와서 준수한 성능을 보였다. 이미지 기반의 방법들은 주로 수화의전체적인 정보에 집중하였다. 그 이후에는 행동 인식 분야에서 많이 사용하던 자세 기반의 관절 정보를 이용한 그래프 합성곱 신경망을 적용하였다. 이때, 얻은 정보들은 대부분 수화에서 관계성에만 집중하였다, 하지만, 단일 스트림 신경망으로 얻을 수 있는 정보로는 다양한 종류의 정보가 필요한 수화 특징을 잡아내는데 부족했고, 많은 논문이 다중 신경망을 통해서 수화 인식에 필요한 다양한 정보를 얻었다. 본 논문에서는 수화 인식에서 중요한 얼굴과 손의 지역적인 정보를 얻기 위한 데이터 형태인 관절 좌표 이미지 패치와 트랜스포머 네트워크를 활용한 다중스트림 네트워크를 제안한다.

영어초록

Recently, many studies on sign language recognition using deep learning and machine learning algorithms have been conducted. Due to the nature of sign language requiring various types of information, various methods have been proposed for word-level sign language recognition. Sign language recognition techniques are divided into image-based methods and pose-based methods. In the beginning, methods using image-based convolutional neural networks came out and showed satisfactory performance. Image-based methods mainly focused on the overall information of sign language. After that, a graph convolutional neural network using pose-based joint information, which was widely used in the field of action recognition, was applied. At this time, most of the information obtained was focused only on relationships in sign language. However, the information obtained with a single-stream neural network was insufficient to capture sign language features that required various types of information, and many papers have been published on sign language recognition through multi-stream neural networks. In this paper, we propose a multi-stream network using joint point image patches, which are data types to obtain face and hand regional information, and a transformer network.

참고자료

· 없음