데이터 전처리와 앙상블 기법을 통한 불균형데이터의 분류모형 비교 연구 (A Comparison of Ensemble Methods Combining Resampling Techniques for Class Imbalanced Data)

서지정보

· 발행기관 : 한국통계학회
· 수록지 정보 : 응용통계연구 / 27권 / 3호 / 357 ~ 371페이지
· 저자명 : 이희재, 이성임

초록

최근 들어 데이터 마이닝의 분류문제에 있어 목표변수의 불균형 문제가 많은 관심을 받고 있다. 이러한 문제를 해결하기 위해, 이전 연구들은 원 자료에 대하여 데이터 전처리 과정을 실시했는데, 전처리 과정에는 목표변수의 다수계급을 소수계급의 비율에 맞게 조정하는 과소표집법, 소수계급을 복원추출하여 다수계급의 비율에 맞게 조정하는 과대표집법, 소수계급에 K-최근접 이웃 방법 등을 활용하여 과대표집법을 적용 후 다수계급에는 과소표집법을 적용한하이브리드 기법 등이 있다. 또한 앙상블 기법도 이러한 불균형 데이터의 분류 성능을 높일 수 있다고 알려져 있어, 본 논문에서는 데이터의 전처리 과정과 앙상블 기법을 함께 고려한 여러 모형들을 사용하여, 불균형 자료에 대한 이들모형의 분류성능을 비교평가한다.

영어초록

There are many studies related to imbalanced data in whichthe class distribution is highly skewed. To address the problem of imbalanced data,previous studies deal with resampling techniques which correct the skewness of the classdistribution in each sampled subset by using under-sampling, over-sampling orhybrid-sampling such as SMOTE. Ensemble methods have also alleviated the problem of class imbalanced data. In this paper, we compare around a dozen algorithms that combine the ensemble methods and resampling techniques based on simulateddata sets generated by the Backbone model, which can handle theimbalance rate. The results on various real imbalanced data sets are alsopresented to compare the effectiveness of algorithms. As a result, we highlyrecommend the resampling technique combining ensemble methods for imbalanced data inwhich the proportion of the minority class is less than 10%. We also find thateach ensemble method has a well-matched sampling technique. The algorithms which combine bagging or random forest ensembles withrandom undersampling tend to perform well; however, the boosting ensemble appears toperform better with over-sampling. All ensemble methods combined with SMOTE outperform in most situations.

참고자료

· 없음