고차원 데이터에서 무감독 이상치 탐지를 위한 차원 축소 방법 (A Dimension Reduction Method for Unsupervised Outlier Detection in High Dimensional Data)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 7호 / 537 ~ 543페이지
· 저자명 : 박정희

초록

많은 이상치 탐지 방법들 중에서 트리 기반 방법인 Isolation Forest는 이상치 탐지 성능이 높은 것으로 알려져 있으나, 텍스트 데이터와 같은 고차원 데이터에서는 데이터의 희소성과 노드 분할을 위해 선택할 수 있는 총 속성 수의 제한으로 인해 적용하는데 한계를 가진다. 본 논문에서는 고차원 데이터에서 이상치 탐지를 위한 차원 축소 방법을 제안한다. 첨도를 최대화하는 선형 변환에 의한 차원 축소를 수행하고, 변환된 공간에서 Isolation Forest에 의한 이상치 탐지 모델을 적용한다. 일변량 확률 분포에서 이상치가 존재할 가능성을 나타내는 값으로 해석할 수 있는 첨도가 높은 특징들의 부분집합을 입력 특징으로 사용하고 출력 노드에서 첨도를 최대화하는 목적 함수를 사용하는 단층 신경망을 이용하여 선형변환을 구하는 방법을 사용하였다. 텍스트 데이터를 이용한 실험결과, 제안된 차원 축소 방법으로 변환한 공간에서 모델링한 Isolation Forest가 더 높은 탐지 성능을 보여주었다.

영어초록

Among various outlier detection methods, Isolation Forest is known to be very effective in detecting outliers. But it is difficult to apply to high dimensional data due to the sparseness of the data and the limitation of the total number of attributes that can be selected for node partitioning. In this paper, we propose a dimension reduction method for unsupervised outlier detection in high dimensional data. Dimension reduction is performed by linear transformation maximizing kurtosis, and in the transformed space, outlier detection by Isolation Forest is applied. Kurtosis is a statistical measure that can be interpreted as the degree of the presence of outliers in the distribution. A linear transformation is found by using a simple one-layer neural network where a subset of features having the highest kurtosis is used as input features and an objective function, which maximizes kurtosis in output nodes, is set. The experimental results using text data demonstrated the high detection perform ance of Isolation Forest modeled in the space transformed by the proposed dimension reduction method

참고자료

· 없음