뉴로-심볼릭 방법을 사용한 CCTV 감시의 시각적 질의응답 시스템 (A Visual Question-Answering System for CCTV Surveillance using a Neuro-symbolic Method)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 29권 / 5호 / 197 ~ 204페이지
· 저자명 : 부석준, 조성배

초록

모니터링에 사용되는 장비가 저렴해지고 정교해짐에 따라 분석할 수 있는 CCTV 영상 데이터의 양이 급속히 증가하고 있다. 이상 상황이 발생 시 관리자가 시스템과 시각적 질의응답을 수행하기 위해서는 객체 및 관계의 인식 기능과 언어로 표현된 질의를 처리하는 기능이 동시에 필요하다. 본 논문에서는 실제 도로에서 촬영되는 행인, 차량, 객체들의 관계를 인식하는 고성능 신경망과 자연어 기반의 복잡한 질의 응답을 위한 추론 알고리즘을 결합한 뉴로-심볼릭 질의응답 방법을 제안한다. 이상상황의 판단과 객체 인식을 위해 컨볼루션 신경망을 사용하였고, 인식된 객체와 질의의 맵핑 및 응답의 추론을 위해 심볼릭 연산을 수행하다. 제안하는 방법은 실제 CCTV 환경에서 다섯가지 종류의 질의에 대해 99.71%의 응답 정확도를 달성하였다. 추가적으로, 학습된 질의응답 모형을 웹 기반 데모시스템으로 구축하여 실용성을 평가하였다.

영어초록

As monitoring equipment becomes cheaper and more sophisticated, the volume of CCTV video data that can be analyzed will rapidly increase. For an administrator to perform visual question-and-answering with the system when an abnormal situation occurs, recognizing relationships between objects and processing queries expressed in language need to occur simultaneously. This paper proposes a neuro-symbolic question and answer by combining a high-performance neural network that recognizes the relationship between observed objects and an inference algorithm for question and answer based on natural language. A convolutional neural network was used to determine anomalies and object recognition, and a sym-bolic operation was performed for mapping objects and queries to infer responses. The proposed method achieved a 99.71% response accuracy for five queries in the real-world CCTV environment. We also demonstrated the practicality of the pro-posed method by developing a web-based real-time monitoring system.

참고자료

· 없음