가상현실 3차원 UI를 위한 RNN 기반 몸 자세 추정 방법 (RNN-based Body Posture Estimation Method for 3D UI in Virtual Reality)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 47권 / 4호 / 362 ~ 367페이지
· 저자명 : 성원준, 김병문, 고박우, 권진이, 김형석

초록

가상현실 어플리케이션에서 직관적이고 자연스러운 인터페이스의 중요성이 대두되고 있으며 그에 따른 3D 인터페이스에 대한 많은 연구가 진행되고 있다. 특히 사용자의 몸을 기반으로 한 인터페이스를 제공하기 위해서는 사용자의 신체 자세를 정확하게 추적하는 것이 중요하다. 본 논문에서는 선행 연구들을 바탕으로 3D 인터페이스를 위한 효과적인 몸의 포즈 추정 방법을 제안하며 특히 body-fixed UI를 위한 상체의 움직임을 정확히 추정하는 데에 중점을 둔다. 신체 자세를 추적하기 위해서는 RGB/RGB-D 카메라 또는 자기/광학 트래커 등과 같은 추가적인 센서를 사용해야 하지만 본 연구에서는 추가적인 센서없이 HMD와 hand-held controller로 이루어진 기존의 가상현실 장치로만 신체 자세를 추적하는 것을 목표로 한다. 신체에 직접적으로 부착하지 않은 3개의 트래커를 통해 사용자의 상체 포즈를 효과적으로 추정하기 위하여 RNN을 기반으로 한 상체 포즈 추정 시스템을 구성하였다. 제안한 상체 포즈 추정 방법의 예측값이 실제값과 비교하였을 때 5% 내의 오류율을 보임을 실험을 통해 검증하였다. 제안한 상체 포즈 추정 방법은 추가적인 장치없이 body-fixed UI 또는 신체 관련 인터페이스를 설계하는데 이용될 수 있으며, 이는 가상현실 어플리케이션의 접근성 향상을 가져올 것으로 기대한다.

영어초록

Providing intuitive and natural interface is crucial in virtual reality applications. There have been many studies on proper 3D interfaces that require the accurate tracking of body posture.
Based on previous studies, we propose an effective body posture estimation method for 3D interfaces.
In this study, we focused on the body-fixed UI, especially movements of the upper body. To track body posture, it is necessary to apply additional sensors such as RGB/RGB-D camera, magnetic/ optical trackers, etc. The goal of this study was to track the body posture with conventional virtual reality devices only. We applied conventional HMD with head tracker and hand-held controllers. With these three trackers which are not directly attached to the body, an RNN-based method is proposed to effectively estimate the upper body pose. Experiments shows that the proposed method could track the upper body position and orientation within 5% of the error rate, compared with the explicit tracker data.
The proposed method could be applied to design body-fixed UI or body-related interfaces without additional devices, which would enhance the accessibility of virtual reality applications.

참고자료

· 없음