설문조사에서 불성실 응답의 탐지방법과 제거의 효과 (Careless Responding in Surveys: Detection Methods and the Impact of Screening on Research)

서지정보

· 발행기관 : 한국경영학회
· 수록지 정보 : 경영학연구 / 49권 / 2호 / 331 ~ 364페이지
· 저자명 : 박원우, 마성혁, 배수현, 지선영, 이유우, 김자영

초록

본 연구는 설문조사에서 발생하는 불성실 응답(careless responding)을 탐지하는 방법과 이를 제거함으로써 얻을 수 있는 효과에 대해 논의한다. 우선, 본 연구는 설문조사에서 발생하는 다양한 불성실 응답의 개념과 유형을 정리하여 설명하였다. 이어서, 최근 활발히 연구가 진행되고 있는 불성실 응답의 다양한 탐지방법들을 직접적, 비개입적, 통계적 방법으로 나누어 소개하였다. 특히, 향후 연구자들이 자신의 연구 맥락에 맞추어 이를 활용할 수 있도록 각 방법이 지닌 의미와장단점, 그리고 탐지 기준을 비교하여 안내하였다. 나아가 본 연구에서는 소개된 다수의 불성실 응답 탐지방법 및 제거의효과를 확인하기 위해, 국내 대기업 구성원 3,030명을 대상으로 한 설문조사 결과를 활용하여 별도의 실증분석을 실시하였다. 여기에는 총 다섯 가지 불성실 응답 탐지방법이 적용되었으며, 각 방법에 의하여 탐지된 불성실 응답을 제거하기전․후의 통계적 결과를 비교하는 방식으로 효과를 검증하였다. 실증연구를 통해 확인한 주요 결론은 다음과 같다. 첫째, 탐지에 활용된 방법에 따라, 불성실 응답으로 분류되는 응답자의 숫자와 비율이 달라졌다. 개별 탐지방법에 따라 약0.5%~14%의 답변이 불성실 응답으로 분류되는 것으로 나타났다. 둘째, 불성실 응답의 제거가 통계적 추론 결과에 미치는 영향을 확인한 결과, 불성실 응답의 존재가 상관관계, 요인분석, 회귀분석 결과에 미치는 영향은 기존 문헌의 결과와 유사한 수준으로, 연구 가설의 결과를 왜곡시킬 정도로 크지 않은 것으로 나타났다. 셋째, 2개 이상의 탐지방법을 조합하는 다중 허들방식(multi-hurdle)을 적용하여 불성실 응답을 탐지한 예시를 보여주었다. 마지막으로 본 연구에서는문헌고찰과 실증분석 결과를 바탕으로, 연구자들이 설문조사에서 활용할 수 있는 불성실 응답 탐지방법과 향후 관련 연구방향을 제시하였다.

영어초록

This study investigates the phenomenon of ‘careless responding’ that prevails in surveys.
Specifically, we focus on methods of detection and the effects of screening careless responding.
First, this study discusses the diverse definitions and types of careless responding. Methods of detection are introduced in the following triangular categorization: direct, unobtrusive, and statistical. The theoretical review portion provides a comparative summary of detection methods and their advantages and disadvantages to help future researchers apply a suitable one to their own study designs. Furthermore, this study conducts an empirical study to identify the impact of screening careless responding on statistical results, analyzing survey data from 3,030 employees working in a major conglomerate in Korea. The major findings are as follows: (1) According to the applied method, the target and the proportion of screened responses varied, ranging from 0.5% to 14% at maximum. Only a small proportion was detected coincidentally by two or more methods. (2) The screening of careless responding only had a slight impact on statistical figures of factor analysis, correlations, and regression. Such less than moderate impacts were in line with earlier findings and less threatening to the validation of research models. (3) Lastly, we demonstrated a multi-hurdling method that adopted two methods sequentially. To conclude, the study discusses possible applications of detection methods and avenues for future research.

참고자료

· 없음