CCTV 동영상에서 보행자 이상행동 이벤트 검출을 위한 딥러닝 기반 이상행동 이벤트 인식 방법 (Deep Learning-Based Abnormal Event Recognition Method for Detecting Pedestrian Abnormal Events in CCTV Video)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 51권 / 9호 / 771 ~ 782페이지
· 저자명 : 송진하, 황영준, 낭종호

초록

CCTV의 설치가 증가하면서 모니터링 업무량이 크게 증가했다. 하지만, 단순히 인력을 늘리는 것만으로는 해결할 수 없는 한계에 부딪혔다. 이 문제를 해결하기 위해, 지능형 CCTV 기술이 개발되었으나, 이마저도 다양한 상황에서 성능 저하의 문제를 겪고 있다. 본 논문에서는 다양한 상황에 적용 가능하고 강건한 CCTV 동영상 통합 이상행동 인식 방법을 제안한다. 동영상으로부터 프레임 이미지를 추출하여 원시 이미지, 히트맵 표현 이미지 입력을 사용하며, 이미지 단계와 특징 벡터 단계에서의 병합 방식을 통해 특징 벡터를 추출하고, 이를 바탕으로 2차원 합성곱 신경망 모델과 3차원 합성곱 신경망 모델, 그리고 LSTM과 평균 풀링을 활용한 이상행동 인식 방법을 제안한다. 성능 검증을 위해 소분류 클래스를 정의하고 총 1,957개의 이상행동 동영상 클립 데이터를 생성하여 검증한다. 제안하는 방법은 CCTV 영상을 통한 이상행동 인식의 정확도를 향상시키며, 보안 및 감시 시스템의 효율성을 증대시킬 수 있을 것으로 기대한다.

영어초록

With increasing CCTV installations, the workload for monitoring has significantly increased. However, a growing workforce has reached its limits in addressing this issue. To overcome this problem, intelligent CCTV technology has been developed. However, this technology experiences performance degradation in various situations. This paper proposes a robust and versatile method for integrated abnormal behavior recognition in CCTV footage that could be applied in multiple situations. This method could extract frame images from videos to use raw images and heatmap representation images as inputs. It could remove feature vectors through merging methods at both image and feature vector levels. Based on these vectors, we proposed an abnormal behavior recognition method utilizing 2D CNN models, 3D CNN models, LSTM, and Average Pooling. We defined minor classes for performance validation and generated 1,957 abnormal behavior video clips for testing. The proposed method is expected to improve the accuracy of abnormal behavior recognition through CCTV footage, thereby enhancing the efficiency of security and surveillance systems.

참고자료

· 없음