상호정보 추정을 위한 k-최근접이웃 기반방법 (k-Nearest Neighbor-Based Approach for the Estimation of Mutual Information)

서지정보

· 발행기관 : 한국통계학회
· 수록지 정보 : Communications for Statistical Applications and Methods / 15권 / 6호 / 977 ~ 991페이지
· 저자명 : 차운옥, 허문열

초록

본 논문에서는 연속형 변수에 대한 결합확률분포를 추정하지 않고도
상호정보(MI) 추정량을 구할 수 있는 k-최근접이웃 기반방법에 대하여
연구하였다. 변수가 동일한 값들을 가지는 경우 k-최근접이웃을 구할
때 생기는 문제점을 해결하기 위하여 지터링(jittering)과
붓스트랩(bootstrap) 방법을 제안하였다. 몬테칼로 모의실험과 실제
데이터에 대한 실험을 수행한 결과, k=1과 같이 작은 값을 사용한
k-최근접이웃 기반방법에 의해 효율적인 MI 추정량을 구할 수 있었다.
k-최근접이웃 기반방법은 연속형 설명변수, 범주형 또는 연속형인
목적변수 형태의 데이터에 적용할 수 있으며, 목적변수에 영향을 주는
중요한 설명변수의 순서를 구할 수 있을 뿐만 아니라 다차원에도 적용할
수 있기 때문에 중요변수의 집합을 구하는 변수 선택(feature subset
selection) 문제에도 적용할 수 있다.

영어초록

This study is about the $k$-nearest neighbor-based approach for
the estimation of mutual information when the type of target
variable is categorical and continuous. The results of Monte-Carlo
simulation and experiments with real-world data show that $k$ = 1
is preferable. In practical application with real world data, our
study shows that jittering and bootstrapping is needed.

참고자료

· 없음