강건하고 효율적인 이면도로 CCTV 영상 폭행 검출 방법 (A Robust and Efficient Road-view CCTV Video Violence Detection Method)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 60권 / 6호 / 73 ~ 83페이지
· 저자명 : 이상윤, 박래홍, 박형민

초록

최근 가파르게 증가한 CCTV를 효과적으로 관리하여 치안을 강화하기 위해 많은 기업과 연구소는 CCTV 엣지 모듈과 같은 제한된 하드웨어 환경에서 폭행을 효율적으로 검출하는 연구를 진행하고 있다. 본 연구에서는 전통적인 알고리즘 방식의 폭행 검출 접근법과 딥러닝 방식의 폭행 검출 접근법을 융합하여 성능이 제한적이고 상황이 복잡한 이면도로 CCTV 환경에서 실시간으로 폭행을 정확하게 검출하는 방법을 제안한다. 제안하는 방법은 사람 객체를 파악하는 객체 검출 딥러닝 네트워크, 가려짐(occlusion)에 강건하게 대처하고 객체에 ID를 부여하는 객체 추적 네트워크, 그리고 ID의 상호작용 상태와 행동 상태를 업데이트 및 응용하여 폭행을 최종 판단하는 폭행 검출 알고리즘으로 구성되어 있다. 폭행 검출의 강건성과 효율성을 고려하여, 객체 검출 딥러닝 네트워크 모델은 YOLOv7-tiny 모델을, 객체 추적 네트워크는 ByteTrack을 사용했다. 본 연구에서 제안하는 방법은 딥러닝 방식과 전통적 방식을 융합하여 다수의 객체가 다양한 상호작용을 하는 AIHub 이상행동 CCTV 영상 데이터셋에 대해서 optical flow의 세기와 방향성을 활용하는 전통적인 방식의 Mahmoodi와 Salajeghe 방법과 영상 데이터의 공간적 특징과 시간적 특징을 활용하는 딥러닝 방식의 Kang 등, Halder와 Chatterjee, Abdali와 Tuma 방법의 폭행 검출 방법보다 낮은 연산량(5.1G FLOPs)과 높은 정확도(77.6%)를 달성했다.

영어초록

In recent years, the rapid increase in CCTV deployments has driven many companies and research institutes to enhance public safety by effectively managing these systems. As a result, there is ongoing research focused on efficiently detecting violences in constrained hardware environments, such as CCTV edge modules. In this study, we propose a method for accurately detecting violence in real-time within complex, performance-limited road-view CCTV environments by combining traditional algorithm-based violence detection approaches with deep learning techniques. Our proposed method consists of an object detection deep learning network for identifying human objects, an object tracking network robust to occlusions and capable of assigning IDs to objects, and a violence detection algorithm that updates and applies interaction and action states of IDs to make the final detection of a violence. Considering robustness and efficiency for violence detection, we employ the YOLOv7-tiny model for the object detection deep learning network and ByteTrack for the object tracking network. By combining deep learning and traditional methods, our proposed method outperforms traditional approaches, such as Mahmoodi and Salajeghe's method utilizing optical flow intensity and directionality, and deep learning-based methods, such as Kang et al.'s, Halder and Chatterjee’s, and Abdali and Tuma's methods, which leverage spatial and temporal features of video data in the AIHub Anomalous Behavior CCTV dataset, with multiple objects engaging in various interactions. The proposed method achieves a lower computational load(5.1G FLOPs) and higher accuracy(77.6%).

참고자료

· 없음