미디어파이프와 장단기기억을 이용한 수화 동작인식 앱 개발 (Application of sign language gesture recognition using Mediapipe and LSTM)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 24권 / 1호 / 111 ~ 119페이지
· 저자명 : 김신영, 엄서정, 유선영, 김수정, 이경미

초록

청각 장애인들의 의사소통을 위해 수화 동작인식 연구가 활발히 진행되었다. 그러나 대부분의 수화 동작인식 연구는 정지된 화면에서 손의 형태를 인식하는 방식으로 이루어졌다. 본 논문에서는 동적으로 변화는 동작뿐만 아니라 얼굴의 표정까지 포함하는 비수지 수화 동작인식 방법을 제안한다. 카메라를 통해 들어오는 매 프레임마다 미디어파이프(Mediapipe) 프레임워크를 사용해서 얼굴과 손을 포함한 인체의 랜드마크를 추출하고 비수지 신호 학습에 필요한 입력 특징값을 계산한다. 동적 동작인식을 위해 한 동작을 30개의 프레임으로 정의하고 순차 데이터 인식을 위한 장단기기억(LSTM) 모델을 이용하여 동적 수화 동작을 학습시킨다. 제안하는 동적 비수지 동작인식 방법은 수화 동작을 배우려는 사용자들을 위한 앱을 개발하는데 적용했다.

영어초록

Researches on gesture recognition for sign language have been actively conducted to communicate with the hearing impaired. However, most of them focused on a way that recognizes the shape of hands on a still image. In this paper, we propose a method that includes not only dynamically changing gestures but also facial expressions. For every frame that comes in through the camera, the Mediapipe framework is used to extract human-body landmarks, including the face and hands, and the proposed method calculates the input features required for non-manual signal learning. For dynamic gesture recognition, one gesture is defined as 30 frames, and dynamic sign language gestures are learned using the LSTM model for sequential data recognition. The proposed dynamic non-manual gesture recognition method is applied to developing applications for users who want to learn sign language gestures.

참고자료

· 없음