일상 행동 분류를 위한 멀티 모달 행동 인식 모델 특징맵 융합 방법 (Multi-modal Feature Fusion Method for Daily Human Behavioral Recognition)

서지정보

· 발행기관 : 조선대학교 IT연구소
· 수록지 정보 : 정보기술융합공학논문지 / 12권 / 1호 / 1 ~ 11페이지
· 저자명 : 김 형민, 김도형

초록

최근, 행동 인식 성능을 개선하기 위해서 다양한 모달리티를 활용하는 방법들이 널리 활용되고 있다. 하지만 다양한 모달리티 특징을 융합하는 방법은 여전히 연구가 필요한 분야이다. 본 논문에서는 두 개의 흐름을 가진 멀티 모달 행동인식 모델을 위한 특징 융합 방법을 제안한다. 본 논문에서 제안된 모델은 RGB 컬러 흐름과 움직임 특징 흐름으로 구성된다. 제안된 특징 융합 방법은 각 흐름의 중간 단계의 특징맵을 컨볼루션 연산을 통해 조정한 뒤 하나의 합의 특징맵으로 융합한다. 또한, 합의 특징맵의 채널 중요도 벡터를 이용해 각 흐름의 특징맵의 채널에 대한 주의 연산을 수행하는 것으로 멀티 모달 행동인식 모델의 성능을 향상 시킨다. 제안된 행동인식 모델은 NTU RGB+D 데이터셋에 대해 경쟁력 있는 성능을 달성했으며, ETRI-Activity3D 데이터셋에 대해서 최신 성능을 달성했다. 본 논문에서는 추가적으로 서비스 로봇이 사전학습된 모델로 각 가정에서 구동되는 상황을 가정한 실험을 수행했다. ETRI-Activity3D 데이터셋에서 사전 학습된 모델을 추가 학습없이 ETRI-Activity3D-Livnglab 데이터셋에 평가하였고 제안된 융합 방법은 기존 소프트맥스 융합 방법과 비교해 행동인식 성능을 4.05% 향상시켰다.

영어초록

Recently, methods using various modalities have been widely used to improve behavior recognition performance. However, the modality features fusion method is still a field that requires research. In this paper, we propose a feature fusion method for a multimodal two-stream action recognition model. The proposed feature fusion method adjusts the feature map of the intermediate stage of each stream through convolution operations and then fuses into one united feature map. The proposed method achieved competitive performance on NTURGB+D datasets and state-of-the-art performance on ETRI-Activity3D datasets. In an additional experiment about a domain-changing situation, the proposed fusion method improved performance by 4.05% compared to the existing softmax fusion method without extra training or domain adaptation method.

참고자료

· 없음