증강현실 광고에서 손 동작 및 팔 움직임 인식을 이용한 AR 객체와 상호작용 방법 (A Method of Interaction with AR Object Using Hand Gesture and Arm Movement Recognition in Augmented Reality Advertising)

서지정보

· 발행기관 : 사단법인 인문사회과학기술융합학회
· 수록지 정보 : 예술인문사회 융합 멀티미디어 논문지 / 7권 / 6호 / 817 ~ 826페이지
· 저자명 : 김병정, 탁민호, 정재일, 박섭형

초록

모바일 증강현실에서 3D 객체를 조작할 때 제스처를 기반으로 한 사용자 인터페이스가 터치 스크린을 이용한 사용자 인터페이스에 비해서 더 직관적이므로 제스처 기반의 사용자 인터페이스가 사용자들에게 더 자연스러운 상호작용을 제공할 수 있다. 이 논문에서는 모바일 증강현실 광고에서 사용자와 3D 광고 컨텐츠 간의 인터랙션 방법으로 기존의 터치 스크린 인터페이스 대신에 손 동작 및 팔 움직임을 활용한 인터페이스를 제안하고 구현하였다. 손 동작과 팔의 움직임을 인식하기 위하여 착용형 암 밴드 장치의 근전도 센서와 가속도 센서, 자이로 센서, 자기 센서 신호들을 결합하여 사용하였다. 손 동작 및 팔 움직임을 추적하는 인터페이스를 추가하여 기존 CARDA 애셋을 확장하였다. 사용자가 현실세계에서 물체를 조작하는 느낌을 갖는 인터페이스를 구현하기 위해서 30명으로부터 수집한 회전, 확대/축소, 객체 선택에 대한 제스처를 바탕으로 객체 조작을 위한 제스처를 정의하였고 사용자와 3D 객체의 제스처-인터랙션을 구현하였다.

영어초록

Gesture-based user interfaces are more intuitive than touch screen-based user interfaces when manipulating 3D objects in mobile augmented reality (AR), so they can provide users with more natural interaction with the AR. Instead of the existing touch screen-based interface, in this paper, we proposed and implemented a user interface that utilizes hand gestures and arm movements as an interaction method between user and 3D advertisement contents in AR advertising. In order to recognize hand gestures and arm movements, we used signals from multiple sensors on wearable arm band in combination such as electromyography sensors, acceleration sensors, gyro sensors, and magnetic sensor. We extended our existing CARDA assets by adding an interface to track hand gestures and arm movements. In order to implement a user interface that gives the user the feeling of manipulating objects in the real world, we defined gestures for object manipulation based on the gestures of rotation, zooming, and object selection collected from 30 persons and implemented the gesture-interaction of the 3D object with the user.

참고자료

· 없음