엘라스틱 넷 벌점항을 이용한 비선형 지지벡터기계의 변수선택 (Variable selection for nonlinear support vector machines via elastic net penalty)

서지정보

· 발행기관 : 한국데이터정보과학회
· 수록지 정보 : 한국데이터정보과학회지 / 34권 / 1호 / 23 ~ 35페이지
· 저자명 : 황호석, 최호식, 박창이

초록

지지벡터기계 (support vector machines)는 주어진 훈련 데이터를 이용하여 마진 (margin)을 최대화 하는 최적 초평면 (hyperplane)을 찾는 학습방법이다.
지지벡터기계는 다양한 문제에 적용이 가능하며 고차원데이터를 효과적으로 다룰수 있기 때문에 분류문제에서 폭넓게 사용된다. 그러나 지지벡터기계는 잡음변수 (noise variable)들이 많은 경우 예측력이 저하될 수 있고 선택된 최종 모형의 해석이 어렵다. 이러한 단점을 보완하고자 LASSO (least absolute shrinkage and selection operator) 벌점에 기반한 변수선택법을 고려할 수 있다. 회귀분석에서 변수들간에 강한 상관관계가 있는 경우에 그 변수들중에서 하나만 선택하는 LASSO 벌점의 문제점을 보완하기 위해 엘라스틱 넷 (elastic net, EL) 벌점이 제안되었다. 본 논문에서는 비선형 분류문제의 변수선택법인 COSSO (component selection and smoothing operator)를 적용한 COSSO-SVM을 고려한다. 비선형 커널의 성분선택을 위해 LASSO 대신 엘라스틱 넷 벌점항을 적용한 EL-COSSO-SVM을 소개한다. 모의실험과 실제데이터에 대한 분석을 통하여 제안한 방법이 COSSO-SVM보다 변수선택과 예측력 측면에서 성능이 향상됨을 보인다.

영어초록

Support vector machines (SVMs) are learning methods seeking the optimal hyperplane with the maximal margin based on training data. SVMs are widely used in classification problems because they can be applied in various problems and deal with high dimensional data effectively. However, in the presense of many noise variables, the prediction accuracy of a SVM can degrade and the interpretation of the final model is difficult. To remedy these disadvantages, a variable selection method based on the LASSO (least absolute shrinkage and selection operator) penalty can be considered. The elastic net penalty has been proposed in regression to overcome the shortcoming of the LASSO that the LASSO tends to select only one variable among the correlated variables when varaibles are strongly correlated. In this article, we consider a variable selection method in nonlinear classifications adopting the COSSO (component selection and smoothing operator), called the COSSO-SVM. The EL-COSSO-SVM adopting the elastic net instead of the LASSO is introduced. Our method is illustrated to improve the performances both in variable selection and prediction of the COSSO-SVM through simulation studies and real data analyses.

참고자료

· 없음