능동빅데이터 기반 흉기 위험성 탐지 및 폭력 동영상 분석과 검증 - 흉기 난동 범죄 위험성 분석을 위한 딥러닝 모델 적용과 프로세스 실험적 검증 - (Active big data-based weapon risk detection and analysis and verification of violent videos - Application of Deep Learning Models and Experimental Validation for Analyzing the Risk of Weapon-Related V)

서지정보

· 발행기관 : 사단법인 한국안전문화학회
· 수록지 정보 : 안전문화연구 / 38호 / 81 ~ 96페이지
· 저자명 : 바트차야, 김광훈

초록

연구 목적: 본 연구는 YOLOv8m 모델과 CLIP 개념을 활용하여 흉기 난동 범죄의 위험 상황을 실시간으로 탐지하고 분석하는 새로운 접근 방식을 제안한다. 기존 CCTV 시스템의 한계를 극복하고 잠재적 범죄를 사전에 예측할 수 있는 시스템을 목표로 한다.
방법: YOLOv8m 모델로 영상 데이터를 분석하고, JSON 형식으로 저장하여 능동 데이터를 생성한 후, 흉기와 사람이 동시에 탐지된 프레임을 위험 프레임으로 정의하였다. CLIP 개념을 적용하여 위험 프레임의 전후 구간을 3초, 5초, 7초, 10초로 나누어 분석하였다. 성능은 True Positive(TP)와 False Positive(FP) 비율로 평가하였다.
결과: 위험 객체 및 위험 프레임 분석: 본 연구는 영상 데이터에서 흉기를 사용하는 폭력 범죄를 탐지하는 것을 목표로 하였다. 흉기 객체로는 칼(knife), 야구방망이(baseball bat), 가위(scissors)를 선정하였다. YOLOv8m 모델을 사용하여 객체를 탐지하고, 사람과 함께 탐지된 프레임을 위험 프레임으로 정의하였다.
분석 결과, 흉기 객체는 총 592개의 고유 프레임에서 646번 탐지되었으며, 이 중 570개 프레임에서 사람과 함께 탐지되었다. CLIP 개념 설정 및 위험 프레임 추출: 174,372개의 프레임 중 570개 프레임이 위험 프레임으로 분류되었다. CLIP 개념을 적용하여 3초, 5초, 7초, 10초 구간의 주변 프레임 빈도를 분석하였다. CLIP 개념 결과 평가: 위험 프레임에 대해 '위험(risk)'과 '비위험(non risk)' 라벨을 부여하여 CLIP의 성능을 평가하였다. 3초 구간에서 정확도 79.83%로 가장 높은 성능을 보였고, 10초 구간에서 정확도가 가장 낮아졌다(62.01%). 시간 범위가 길어질수록 정확도가 감소하는 경향을 보였으며, 짧은 시간 범위가 효율적인 추출을 위해 중요함을 확인하였다.
결론: 흉기와 사람이 함께 탐지된 프레임을 위험 프레임으로 분류하고, CLIP 개념을 통해 각 시간 간격에 따른 탐지 성능을 분석하였다. 주요 흉기 객체인 칼, 가위, 야구방망이를 중심으로 탐지 성능을 평가하며, TP와 FP 비율로 성능을 비교하였다. 3초 간격이 FP를 최소화하고 TP를 유지하는 데 효과적임을 밝혔다. 흉기 객체(칼, 가위, 야구방망이)가 폭력 범죄와 밀접히 연관되며, 범죄예방 및 경고 시스템에 활용 가능함을 확인하였다. 향후 다양한 객체와 환경 변수를 포함한 연구를 제안한다.

영어초록

Purpose: This study proposes a novel approach to detect and analyze violent crime situations involving bladed weapons in real-time, utilizing the YOLOv8m model and the CLIP concept. The aim is to overcome the limitations of existing CCTV systems and develop a system capable of predicting potential crimes in advance.
Method: The YOLOv8m model was used to analyze video data, and active data was generated by storing the results in JSON format. Frames where bladed weapons and people were simultaneously detected were defined as "dangerous frames." The CLIP concept was applied to analyze surrounding frames in intervals of 3, 5, 7, and 10 seconds. The performance was evaluated using True Positive (TP) and False Positive (FP) ratios.
Results: Dangerous Object and Dangerous Frame Analysis: This study aimed to detect violent crimes involving bladed weapons in video data. The selected bladed weapon objects were a knife, baseball bat, and scissors. The YOLOv8m model was used to detect objects, and frames where a person and a weapon were detected together were defined as dangerous frames. The analysis revealed that the bladed objects were detected 646 times across 592 unique frames, and in 570 of those frames, they were detected together with a person. CLIP Concept Setting and Dangerous Frame Extraction: Out of 174,372 frames, 570 were classified as dangerous frames. The CLIP concept was applied to analyze the frequency of surrounding frames within 3, 5, 7, and 10-second intervals. CLIP Concept Performance Evaluation: Dangerous frames were labeled as "risk" or "non-risk," and CLIP performance was evaluated. The highest performance, with an accuracy of 79.83%, was achieved in the 3-second interval, while the accuracy decreased to 62.01% in the 10-second interval. A trend of decreasing accuracy as the time range increased was observed, highlighting the importance of shorter time intervals for efficient extraction.
Conclusion: Dangerous frames, where both bladed weapons and people were detected, were classified, and the performance of CLIP at different time intervals was analyzed. The detection performance was evaluated with a focus on the main bladed weapon objects (knife, scissors, and baseball bat), comparing TP and FP ratios. The 3-second interval was found to be effective in minimizing FP while maintaining TP. The study confirmed that bladed objects are closely associated with violent crimes and can be utilized in crime prevention and warning systems. Future research is suggested to include various objects and environmental variables.

참고자료

· 없음