격리 포리스트를 이용한 NoSQL 데이터베이스의 구조적 이상치 탐지와 스키마 추출 (Structural Outlier Detection and Schema Extraction on NoSQL Databases using Isolation Forest)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 32권 / 3호 / 254 ~ 260페이지
· 저자명 : 홍동권

초록

NoSQL 데이터베이스는 스키마 제약을 강하게 요구하지 않음으로써 지속적인 스키마 변경(Schema evolution)과 다양한 구조의 데이터를 쉽게 수용할 수 있는 장점이 있다. 하지만NoSQL 데이터베이스의 응용 프로그램의 개발과 데이터 분석 과정에서 데이터베이스에 포함된 구조적 정보의 추출과 이상치(Outlier)를 탐지하는 것은 매우 중요한 과정이다. 본 논문에서는 JSON 형식으로 표현된 NoSQL 데이터베이스의 도큐먼트(Document) 구조적 정보를그래프로 표현하는 기존의 방식들에서 벗어나 도큐먼트의 키(Key) 집합을 활용하는 방안을활용하였다. 키 집합은 다시 일정한 크기의 벡터로 변환되고, 트리 기반의 고립탐지 기술인격리 포리스트(Isolation forest)의 입력으로 사용되어 컬렉션의 대표 스키마 추출과 이상치탐지(Outlier detection)를 동시에 수행하는 기법을 제안하였다. 마지막으로 모의실험을 통하여 본 논문에서 제안한 방식이 다양한 실험 환경에서 효율적으로 스키마를 추출하고 이상치를 탐지하는 것을 확인하였다.

영어초록

By not requiring strong schema constraints, schema-less, NoSQL database are able to docontinuous schema evolution and are cable to store data with various structure easily.
However it is inevitable to extract implied schema and to detect outliers during theapplication development and data analysis on NoSQL database. In this paper we used setof document keys rather than building graph data structure to express structure ofdocument with JSON format. Document keys are transformed to vector format and thenthe isolation forest algorithm is applied to detect outliers and to extract implicitrepresentative schema at the same time. Finally we have shown the exactness of ourapproach by performing with randomly generated data and various parameters.

참고자료

· 없음