머신러닝을 활용한 설문조사 불성실응답 판별 (False Responses Detection of Survey System using Machine Learning)

서지정보

· 발행기관 : 한국자료분석학회
· 수록지 정보 : Journal of The Korean Data Analysis Society / 22권 / 3호 / 1013 ~ 1021페이지
· 저자명 : 권민수, 최승배, 강창완

초록

최근 많은 기업에서 적은 비용과 짧은 조사 기간으로 합리적이고 효율적인 조사를 가능하게 하는 서비스를 선호함에 따라 온라인 서베이 플랫폼 시장이 점차 활성화되고 있다. 그러나 온라인 조사의 단점인 낮은 데이터의 신뢰도는 극복하지 못하고 있는 실태이다. 본 연구에서의 목적은 인터넷 설문조사에서 불성실 응답자를 판별하는 방안을 제안하는 데 있다. 본 연구에서 제안하는 방법의 적용 가능성을 보이기 위해 간단한 시뮬레이션과 실제 적용사례를 수행하여 머신러닝 기법 중 ANN 모형과 SVM 모형을 고려하여 불성실 응답자의 판별 예측력을 비교해 본다. 실제 적용사례에서는 불성실 응답자를 판별할 수 있는 변수로서 응답소요시간, 응답시간, 성별, 연령, PC, Mobile, 부정응답횟수를 고려하였고, 본 연구에서 적용된 데이터는 부산광역시에 거주하고 있는 10대 이상의 거주자들을 대상으로 한 설문조사 데이터이다. 분석결과, 간단한 시뮬레이션에서는 ANN 모형과 SVM 모형은 별 차이를 보이지 않았다. 실제 적용사례에서는 참값을 모르기 때문에 예측력 측면에서 어느 모형이 좋고 나쁨을 논하기에는 문제가 있다. 따라서 차선책으로 두 모형의 결과와 주관식의 내용을 고려하여 판단했을 때, 테스트 데이터에서 SVM 모형이 ANN 모형보다 예측력의 측면에서 우수함을 보였다.

영어초록

As an increasing number of businesses prefer services that enable them to conduct surveys on a reasonable and effective basis at lower costs and over a shorter period of time, online survey platform markets are growing. However, data reliability, one of the shortfalls in online survey, is yet to be addressed. The purpose of this study is to present the methods to identify unreliable respondents in online survey. In order to demonstrate the possible application of the method presented herein, we will run simple simulation and look into actual cases of application. And then we will compare judgement predictability by considering two machine learning methods: ANN model and SVM model. For the variant in identifying unreliable respondents, we took into account time taken to respond, responding time, gender, age, PC, mobile, and the number of false answers in the actual applications. The data applied in this study is the survey data on residents in their teens or older in Busan. The analysis found that the simple simulation did not demonstrate special difference between ANn model and SVM model. However, it is early to determine which model is better in terms of predictability since true values are unknown in actual application. Therefore, after considering the results from the two methods and the contents of subjective questions as an alternative, SVM model was better at predicting than ANN model.

참고자료

· 없음