혼합정규분포를 가정한 조건부 상호정보의 준모수적추정량을 이용한 고차원 자료에서의 변수선택 (Variable selection based on semi-parametric estimator of conditional mutual information assuming normal mixture in high-dimensional data)

서지정보

· 발행기관 : 한국데이터정보과학회
· 수록지 정보 : 한국데이터정보과학회지 / 29권 / 6호 / 1339 ~ 1351페이지
· 저자명 : 안치경, 김동욱

초록

변수간의 비선형적인 연관성을 감지할 수 있는 상호정보 (mutual information)는 변수선택의 좋은 기준이 되지만 고차원 자료에서는 적용하기 쉽지 않아 많은 연구가 진행되어 왔다. Cai 등 (2009)은 일반적인 상호정보가 아닌 최대 2차원까지만 고려하여 추정하는 조건부 상호정보를 이용하여 추정의 어려움을 해결하였으며, 고차원자료에 SVM을 적용하기 위한 변수선택에서 기존의 필터링 방법과 SVM-RFE로 선택된 변수들보다 더 분류 성능이 뛰어난 변수들을 선택하는 것을 보였다. Ahn과 Kim (2014)은 조건부 상호정보의 추정에 대한 계산효율을 높이기 위해 설명변수간에는 모수적으로 분포가정을 하는 준모수적 조건부 상호정보 추정량을 제안하였다. 하지만 설명변수간에 정규분포라는 가정이 심하게 위배되면 분류성능이 매우 저하될 수 있는 단점이 있다. 본 연구에서는 설명변수의 분포를 혼합정규분포로 가정하여 조건부 상호정보를 가중치를 활용하여 준모수적인 방법으로 추정하는 방법을 제시하였다. 반응변수와 설명변수 간에는 모수적 분포를 가정하지 않으므로 비모수적 연관성을 측정하는 상호정보의 특징을 보존하며 설명변수간에는 모수적 분포가정을 하여 추정의 효율을 향상시킬 수 있다. 모의실험결과 혼합정규분포를 가정한 조건부 상호정보의 준모수적 추정법이 유의변수 선택능력에서 매우 우수하였다.

영어초록

We propose a method of estimating conditional mutual information by semiparametric method using mixed normal distribution assumption between explanatory variables. In order to maintain the advantage of mutual information that keeps the nonparametric relationship between the explanatory variable and the response variable, the mutual information between the explanatory variable and the response variable is estimated in a nonparametric manner. Furthermore, to improve the efficiency of mutual information estimation, the mutual information between the explanatory variables is to be estimated parametrically. Since the estimated density function is used as a weight for conditional mutual information estimation, the outliers with relatively small density estimate have little effect on the semi-parametric estimator of conditional mutual information. Experimental results show that the semi-parametric estimation method of conditional mutual information assuming mixed normal distribution have shown excellent performance in terms of significant variable selection.

참고자료

· 없음