사운드와 활동 정보를 이용한 셀프 어텐션 잔차 시간적 합성곱 신경망 기반 실내 비상상황 인식 (Self-attentive residual temporal convolutional network-based indoor emergency awareness using contextual information from sound and human activity)

서지정보

· 발행기관 : 한국음향학회
· 수록지 정보 : 한국음향학회지 / 43권 / 6호 / 637 ~ 643페이지
· 저자명 : 이주환, 김형국

초록

본 논문은 모바일 기기를 통해 수집된 소리와 활동 정보를 통해 사용자의 비상상황을 인식하여 알려주는 실내비상인식 알람 시스템을 제안한다. 제안하는 시스템에서는 모바일 기기의 마이크로 입력되는 실내 공간 사운드, 그리고모바일 기기 내에 장착된 가속도계와 자이로스코프의 신호를 셀프 어텐션 잔차 시간적 합성곱 신경망(Self-Attentive Residual Temporal Convolutional Networks, SARTCN)에 적용함으로써 비상상황을 인식하고 모바일 전송 시스템을 사용하여 모니터링되는 사람의 상태를 보호자나 가족에게 신속하게 전달한다. 학습을 위해 실제 모바일 기기를 통해녹음된 사운드 데이터 및 가속도계, 자이로스코프의 신호를 활용하여 비상상황을 인식하는 실험을 수행하였으며, SARTCN은 사운드 이벤트 인식과 활동인식의 통합한 실내 비상 상황 인식에서 93.7 %의 높은 정확도를 보여주었다.
제안하는 시스템은 노인과 어린아이와 같이 도움이 필요한 사람들의 비상상황을 자동으로 감지하고 대처하는 모니터링 시스템에 효과적으로 적용될 수 있다.

영어초록

In this paper, we propose an indoor emergency awareness alert system that recognizes and delivers a user's emergency situation through sound and activity information collected through a mobile device. In the proposed system, the indoor spatial sound inputted through the microphone of the mobile device and the signals from the accelerometer and gyroscope installed in the mobile device are applied to the Self-Attentive Residual Temporal Convolutional Networks (SARTCN) to recognize emergency situations and quickly transmit the status of the monitored person to the guardian or family using the mobile transmission system. For training, we conducted experiments to recognize emergency situations using sound data recorded through actual mobile devices, as well as accelerometer and gyroscope signals, and our proposed SARTCN model achieved a high accuracy of 93.7 % in recognizing indoor emergency events by integrating sound event detection and activity recognition. The experimental results show that the proposed system can be effectively applied to a real-time monitoring system that automatically detects and responds to emergency situations of people who need assistance, such as the elderly and children.

참고자료

· 없음