AutoEncoder 기반 웹 로그 데이터 이상 탐지 시스템 (AutoEncoder-based web log data anomaly detection system)

서지정보

· 발행기관 : 아이씨티플랫폼학회
· 수록지 정보 : Journal of Platform Technology / 13권 / 2호 / 40 ~ 50페이지
· 저자명 : 김예서, 장재원, 이소연, 최정욱, 박수범, 김대영

초록

웹 서비스의 확장으로 인해 매크로 봇과 비정상적인 요청이 급증하면서 보안 위협과 성능저하 문제가 심화되고 있으며, 단순히 사용자의 경험을 저하시킬 뿐만 아니라 막대한 경제적피해를 발생시키고 있다. 이를 해결하기 위해 본 논문에서는 AutoEncoder 기반 웹 로그데이터 이상 탐지 시스템을 제안하였다. 웹 로그 데이터에 정규 표현식을 사용하여 주요필드(IP 주소, 요청 시간, User-Agent 등)로 분리하고, 텍스트 마이닝 기법(TF-IDF 및TSVD)으로 벡터화하여 차원 축소를 통해 분석 가능한 형태로 변환하였다. 또한, User-Agent 문자열에서 봇 특성을 탐지하고 동일 IP에서 발생하는 요청 빈도를 분석하여 이상 데이터를식별할 수 있는 특징을 추출하였다. AutoEncoder모델은 정상적인 데이터 패턴을 기반으로학습하고, 재구성 오류를 계산하여 임계값을 초과하는 데이터를 이상 데이터로 판단하였다.
실험 결과 ROC 곡선의 AUC 값이 높은 정확도를 보이며 정상 데이터와 이상 데이터를효과적으로 구분할 수 있음을 입증하였다. 이를 통해 악의적인 트래픽을 조기에 탐지하고대응함으로써 웹 서비스의 보안을 강화하고, 서버 부하를 줄이는 데 기여할 수 있다.

영어초록

The rapid expansion of web services has led to a surge in macro bots and abnormal requests, resulting in heightened security threats and performance degradation. These issues not only diminish user experience but also incur significant economic losses. To address these challenges, this paper proposes an AutoEncoder-based anomaly detection system for web log data. Using regular expressions, web log data is segmented into key fields (e.g., IP address, request time, User-Agent) and vectorized through text mining techniques such as TF-IDF and TSVD, enabling dimensionality reduction for

analysis. Features indicative of anomalies are extracted by identifying bot characteristics within User- Agent strings and analyzing request frequencies from identical IPs. The AutoEncoder model is trained on normal data patterns and detects anomalies by calculating reconstruction errors that exceed a defined threshold. Experimental results demonstrate high accuracy, as evidenced by the AUC value of the ROC curve, effectively distinguishing between normal and anomalous data. This system enhances web service security and reduces server load by promptly detecting and mitigating malicious traffic.

참고자료

· 없음