이상치 검출 및 그 영향에 관한 연구 －주거실태조사의 주거환경 만족도평가를 대상으로－ (A Study on the Detection and Impact of Outliers: Focused on the Evaluation of Residential Satisfaction in Housing Survey)

서지정보

· 발행기관 : 한국주거환경학회
· 수록지 정보 : 주거환경 / 15권 / 1호 / 31 ~ 49페이지
· 저자명 : 최정민, 박동찬

초록

본 연구는 현재의 빅데이터 시대에 있어서 신뢰성에 큰 영향을 끼치는 이상치(Outlier)에 관한 연구이다. 국토교통부의 2006~20014년 정기 ‘주거실태조사’를 분석에 이용하였으며, 설문항목 중 주거환경 만족도평가에 초점을 맞춰 이상치를 검출하고, 그 영향요인에 대해 실증분석하여 시사점을 도출하였다. 이상치 검출을 위해 기존의 마할라노비스(Mahalanobis) 거리에 의한 분석기법을 이용하였다. 그러나 이렇게 하여 검출된 이상치가 실제 이상치인지 여부를 확정할 수 없다는 문제점이 발생하였다. 이에 본 연구에서는 응답자의 인구통계적 특성과 주거환경만족도 평가 사이에는 일정한 상관관계가 성립한다는 것에 착안하여, ‘나이브 베이지안 확률추정(Naive Bayesian)’을 이용하여 이상치를 검출하고 그 영향요인에 대해 고찰하였다. 그 결과, 첫째 2014년도 정기 주거실태조사의 주거환경 만족도 평가항목에서 설문응답자의 약 13%인 2,570여명의 응답자가 이상치 후보군으로 추출되었다. 둘째, 이상치 의심자들은 지나치게 과대 긍정평가(positive over estimation)하는 성향이 나타났다. 셋째, 설문조사에서 이상치 의심자를 줄이기 위해서는 응답자들로 하여금 설문 부담을 줄여줄 수 있는 방안을 강구해야 한다. 이를 위해, 유사한 설문항목은 통합하고, 표형식의 동일 평가척도에 의한 연속 질문은 지양하고, 설문항목을 적당한 크기로 구획하여 설문지에 적절히 분산시킴으로써 이상치 의심 발생을 줄일 수 있다.

영어초록

This study analyzed outliers which give a significant impact on reliability in the current Big Data era. We used the Housing Condition Survey (HCS) by the Ministry of Land, Infrastructure and Transport in Korea as a main dataset. We focused on the residential satisfaction of the respondents, detected the outliers, and performed an empirical analysis for impact factors. Although we used the Mahalanobis distance method, which is a common method for outlier detection, we found that this outlier detection method was unreliable. Alternatively, the Naive Bayes Classification method was utilized to detect the outliers and to verify the impact factors. This choice of method was based on the fact that the high correlation among the demographic characteristics and residential satisfaction of respondents are critical elements in the Naive Bayes Classification. The findings include that firstly, about 2,400 samples (12% of total) of the '2014 Housing Condition Survey' were detected as outliers. Secondly, it was observed that the tendency of positive over-estimation about questions from the residential satisfaction of respondents in HCS is common. Thirdly, in order to reduce the occurrence of outliers in HCS, it is necessary to lessen the stress of respondents by avoiding long questions in table form.

참고자료

· 없음