Spark 기반의 선박위치정보 오류 및 이상치 탐지 기법 연구 (Study of Spark-based Vessel Location Data Error and Outlier Detection Method)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 23권 / 4호 / 753 ~ 763페이지
· 저자명 : 박용길, 이철용

초록

최근 해상 안전 및 관리를 위해 선박위치정보 수집 및 활용에 대한 관심이 높아지고 있다. 특히, 선박위치정보를 이용한 인공지능 기반 선박 분포 예측이나 항적 예측 연구가 국내외에서 다양한 방식으로 진행되고 있다. 그러나 연간 70억 건 이상의 대용량 데이터를 처리하기 어렵고, 표준화된 검수 방법도 제시되지 못하였다. 본 연구에서는 Spark 기반 빅데이터 처리 분석 기술을 이용하여 대용량 선박위치정보의 오류 및 이상치를 탐지 및 처리하는 표준화된 방법을 제시하는 것을 목표하였다. 실험 데이터는 2018년 10월 31일의 전국 대상 AIS 데이터이며, 선박위치정보 개수는 약 26,160,000 건이다. 선박위치 메시지 간 선박의 평균 이동속도를 계산하여 경계 값 테스트, 스파이크 테스트, 이동 IQR 테스트를 통과시킴으로써 이상치를 탐지하고 이를 오류 검수 대상으로 분류하였다. 이 때 이동 IQR 테스트의 샘플링 사이즈와 스케일 값을 조정하면서 이상치 탐지율을 비교 분석하였고, 최종적으로 연산 효율을 고려하여 유의미한 경계 값을 도출하였다. 이동 IQR 테스트의 샘플링 사이즈는 61개, 스케일은 3배수(3*IQR)로 설정하는 것이 파라미터 변화에 따른 민감도나 연산 효율 상 적절한 것으로 판단되었다.

영어초록

There has been an increasing interest in collecting and utilizing ship position information to improve maritime safety and management for the last decades. Specifically, AI-based prediction studies regarding vessel distribution and tracking are recent issues in the domestic and international maritime fields. Nevertheless, a massive amount of over 7 billion cases per year has been a barrier of process, and no standardized quality control method has been proposed yet. Thus this study proposes a standardized method to detect and process errors and outliers of the huge-amount vessel position information using big-data analysis technology based on Spark. AIS(Automatic Identification System) data for overall South Korea, having approximately 26,160,000 position-records, was tested. Outlier detection was made through boundary test, spike test, and moving IQR(Interquartile Range) test, using mean speed between message records, and they were classified as error and outlier. For a more sophisticated process, detection ratio was analyzed, varying sampling size and scale then optimal setting was determined. The optimal settings were 61 in sampling size(30 before and after) and three times of IQR in scale, considering the sensitivity to parameter change and computation efficiency.

참고자료

· 없음