움직이는 모양 연산자를 이용한 입술 명령어 인식 (A Recognition of Lip Commands using a Motion Shape Descriptor)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 18권 / 11호 / 1 ~ 7페이지
· 저자명 : 김선종, 권혁숭, 김주만

초록

음성을 기반으로 하는 명령은 주변 환경이나 잡음에 따른 영향을 받는다. 본 논문에서는 소리가 아닌 입술의 모양으로 움직임을 추적하고, 주어진 명령어를 인식하는 SSD(Sequential Shape Descriptor) 연산자를 제안하였다. 이를 위해 먼저 입술의 모양을 표현하는 TCD(Triangular Centroid Distance) 연산자를 사용하고, 이들의 연속적인 움직임은 SSD 연산자로 표현하여 주어진 명령을 인식하도록 하였다. SSD 연산자는 윤곽선으로 나타나는 입술 모양을 주파수 영역으로 표현할 수 있어서, 크기, 위치 및 회전에 무관하게 인식될 수 있다. 일반적으로 사용되는 5개의 기계 명령어를 이용하여 CNN 기반 딥러닝에 실험한 결과, 96.3%의 높은 인식률을 얻을 수 있었다. 따라서 소리에 민감한 환경인 경우, 제안된 SSD 연산자를 이용한 인식이 소리 대체 수단으로 사용될 수 있음을 확인할 수 있었다.

영어초록

Voice-based commands are affected by the surrounding environment or noise. In this paper, we proposed an SSD(sequential shape descriptor) operator that tracks motion by shape rather than the sound of lips and recognizes a given command. To do this, the TCD operator expressing the shape of the lips was used, and their continuous movement was made to recognize commands using the SSD operator. The SSD operator can express the shape of the lips as outlined in the frequency domain, so it can recognize regardless of size, position, and rotation. As a result of experimenting with CNN-based deep learning using five commonly used machine instructions, a high recognition rate of 96.3% was obtained. Therefore, in the case of an environment sensitive to sound, it was confirmed that the recognition using the proposed SSD operator can be used as a sound substitute.

참고자료

· 없음