설문지의 길이가 응답의 질에 미치는 영향 (The Influence of the Questionnaire Length on Response Quality)

서지정보

· 발행기관 : 한국조사연구학회
· 수록지 정보 : 조사연구 / 16권 / 1호 / 1 ~ 48페이지
· 저자명 : 김권현, 유동주, 김형준, 김청택

초록

본 연구에서는 설문조사의 비표집 오차의 원인 중 하나인 설문지의 길이가 응답에 미치는 영향을 조사하였다. 연구 1에서는 동일한 문항을 설문지의 전반부 혹은 후반부에 배치하는 실험계획을 통해 선행연구에서 밝혀진 설문지의 길이 효과를 재연하고 설문의 질을 나타낼 것으로 예상되는 통계치(개인별 엔트로피, 렘펠-지브 복잡도, 신뢰도, 문항반응이론 기반 개인우도 등)가 문항의 위치에 따라 어떻게 변하는지 조사하였다. 연구 2에서는 이 결과를 현장에서 실제로 얻은 설문 결과에 대해 적용하였다. 연구 1의 결과, 후반부 문항들의 개인별 표준편차, 개인별 엔트로피, 렘펠-지브 복잡도가 유의미하게 낮아졌다. 하지만 리커트 문항으로 이루어진 척도 점수에 대한 신뢰도는 큰 변화가 없었으며, 분기질문에 대한 “아니오” 응답의 비율은 낮아지는 경향을 보였지만 유의미한 차이를 보이지 않았다. 개방형 질문에 대한 응답의 길이는 후반부의 응답에서 짧아졌다. 연구 2에서는 현장에서 실제로 얻은 설문지 중 설문소요시간의 중앙값이 51분인 긴 설문지에서만 개인별 엔트로피, 렘펠-지브 복잡도가 낮아지고 최대 한줄 응답 길이가 유의미하게 증가하였다.

영어초록

The present study investigated the effects of the questionnaire length upon response quality. In study 1, we manipulated the location of items in a questionnaire by putting the identical items either at the first part of the questionnaire or at the last. The qualities of responses to items at different locations were measured using several statistics (individual entropy, Lempel-Ziv complexity, reliability, respondent’s likelihood based on IRT) which were expected to reflect the response quality. In study 2, we tested whether the item location effect is also observed in real data. The results of study 1 show that individual standard deviation, individual entropy, Lempel-Ziv complexity decrease as the same scales were placed towards the end of the questionnaire. But the reliability and response to filtering questions showed no significant difference. The length of answers to open questions went shorter as the questions were placed towards the end. In study 2, we could find that the individual entropy and the Lempel-Ziv complexity decreased and maximum length of straight response increased in the long survey in which the median duration was 51 minutes.

참고자료

· 없음