2014 지방선거에서의 여론조사의 정확성 연구 :조사방법별 정밀성과 편향 비교 (How Accurate Were Election Polls in the 2014 Local Elections in South Korea? : Comparison of Precision and Bias among Survey Modes)

서지정보

· 발행기관 : 한국조사연구학회
· 수록지 정보 : 조사연구 / 16권 / 1호 / 129 ~ 153페이지
· 저자명 : 장덕현, 조성겸

초록

2014년 지방선거의 선거여론조사는 얼마나 정확했는가? 2014년에는 중앙선거여론조사공정심의위원회(이하 중앙여심위)가 출범했다. 중앙여심위 홈페이지에는 선거일 7일 이전까지 언론에 공표된 모든 여론조사결과들이 공개되어 있다. 그 내용에는 조사의 설계와 지지도 결과, 특히 연령대별 지지도가 포함된다. 언론에 공표되는 여론조사의 목표할당은 유권자의 성/연령대별 분포에 기준하며, 지지후보를 밝히지 않은 유보층을 포함하고 있다. 선거일과의 차이를 제외하고도 실제 선거결과와의 비교를 위해 응답자의 투표 여부(투표율)을 반영해야 하며, 지지후보 유보층을 배분해야 한다. 본 연구에서는 중앙여심위 자료 중 D-11일 이후 등록된 광역단체장 선거여론조사 결과 133건을 분석했으며, 각 조사결과의 전체 지지도, 연령대별 지지도, 연령대별 목표할당을 추출했다. 투표 여부의 경우 중앙선거관리위원회 투표자 조사의 시/도별 연령대별 투표율을 반영했으며, 지지후보 유보층은 균등 배분하거나 제외하고 재환산했다. 즉 투표율 반영 여부와 유보층 배분방식에 따라 다음 4가지 방법 중의 하나를 적용했다: 1) 투표율 미반영 & 균등 배분, 2) 투표율 미반영 & 제외, 3) 투표율 반영 & 균등 배분, 4) 투표율 반영 & 제외. 각 방법별로 실제결과와의 차이를 분석하며, 정밀성 기준으로 표준편차, 편향 기준으로 오차평균을 산출했다. 분석 결과, 조사원 면접과 ARS 간 정밀성에서는 차이가 크지 않았지만 편향은 차이가 있었다. ARS의 경우 투표율 반영 후 편향이 커지는 반면 조사원 면접은 투표율 반영 후 편향이 감소했다. ARS 방식은 여당 편향이 존재했고 이러한 경향은 특히 야당 후보의 당선 지역에서 두드러졌다. 그러나 정밀성 수준에서 ARS와 조사원면접 모두 만족할 만한 수준은 아니며 이에 대한 개선이 요구된다.

영어초록

How accurate were local election polls in 2014? The National Fair Election Survey Deliberation Commission (NESDC) was launched in 2014. All published survey results, which by law were published a minimum of seven days prior to the election, were posted on the NESDC website. Those results included the survey design and the detailed survey results, including the results of a question indicating which candidate the respondent supported. These results were cross-tabulated in several ways, including by age. The quota of published polls was based on the gender/age distribution of the electorate and included the respondents who had not yet decided how to vote. We accounted for two factors: the turnout of respondents and how undecided respondents would likely vote. Some people may change their minds between the day of the poll and election Day; these differences were not accounted for in our analysis. In this study, we analyzed the results of 133 mayoral or gubernatorial surveys conducted between 11 and 7 days prior to the election and extracted each candidate’s total support rating and support ratings by age group. Age quota was taken into account.
The turnout of voters by city/province and age group in the survey of the National Election Commission was reflected, and undecided respondents were allocated equally between candidates or dropped. Accordingly, we applied the four options reflecting the turnout and allocation of undecided respondents: 1) Turnout is not reflected and equally allocated, 2) Turnout is not reflected and dropped, 3) Turnout is reflected and equally allocated and 4) Turnout is reflected and dropped. Surveys used one of three modes: telephone interviewer-administered surveys, ARS, and mobile apps. There was no significant difference in the precision level but the bias was different between interviewer-administered surveys and ARS. In particular, the results differed by survey mode after turnout by age group was reflected. When turnout by age group was reflected, the bias increased in ARS but was reduced in interviewer-administered surveys. The results of ANOVA analysis, which controlled for differences between the different cities and provinces, showed significant differences between survey modes. The ruling party bias existed in ARS and more significantly in areas where the opposition party was elected. The precision levels of both ARS and interviewer-administered surveys were not satisfactory, and improvement is required.

참고자료

· 없음