무작위 쌍대비교 조사의 분석 절차 확립을 위한 연구: 사회문제와 ESG 기업활동 평가의 예 (How to Analyze Randomized Paired Comparison Survey Step-by-step: Cases of Social Problems and ESG Items)

서지정보

· 발행기관 : 한국조사연구학회
· 수록지 정보 : 조사연구 / 23권 / 1호 / 33 ~ 68페이지
· 저자명 : 문기홍, 강정한, 이진철

초록

무작위 쌍대비교 조사는 항목 간 상대적인 중요성을 명확하게 판별할 수 있다는 장점이 있으나 조사 자료의 형태가 복잡하고 비교 항목의 수가 증가할수록 분석해야 할 비교 쌍의 수가 지나치게 많아지며 결과 해석이 복잡해진다는 단점을 가지고 있다. 본 연구는 쌍대비교 조사 자료를 신속하고 효율적으로 해석할 수 있는 4단계 분석 절차를 제안하여, 전체적인 항목 간 우선순위 파악에서 출발하여 구체적인 선택 맥락에서 드러나는 이해관계자 특성까지 파악하고자 한다. 이러한 단계적 분석은 구체적 조사 내용에 구애받지 않고 적용 가능하며, 이를 시연하기 위해 두 가지의 온라인 무작위 쌍대비교 조사를 실시하고 분석한다. 또한 분석 및 시각화 에 사용한 파이썬 코드를 공개하여***** 온라인 쌍대비교 조사 영역의 확대에 기여하고자 한다.
제안하는 네 단계는 ①항목 간 전체적 순위 파악, ②항목별 결정요인 탐색, ③항목 간 선호도 관계지도 작성, ④두 항목 간의 쌍대비교 분석 및 선택에 미치는 결정요인 탐색 순으로 진행되며, 이를 통해 조사의 함의를 도출하는 과정을 체계화했다. 각 단계별 절차의 시연을 위해 13가지 사회문제 간의 심각성 우선순위 파악을 위한 쌍대비교 조사(N=1,002)와 15가지 ESG(환경, 사회, 거버넌스) 기업활동 간의 상대적 중요성 파악을 위한 쌍대비교 조사(N=5,142)를 활용하였다.
분석의 결과, ①사회문제 비교, ESG 기업활동 비교 모두에서 환경 항목의 순위가 기대보다 낮게 나와, 환경은 중요하나 우선순위 선택의 상황에서는 덜 시급한 문제로 인식되는 것으로 나타났다. 또한 ②두 조사에서 모두 여성이 환경을 중요시하고 고연령일수록 재난 방지 및 경제적 상생을 중요시하는 이해관계자별 일관적인 경향을 관찰하였다. 다음으로 ③전체적 순위만으로는 유추하기 힘든 특정 쌍대비교 간 선호도를 볼 수 있게 해주는 관계지도를 산출하여 이를 앞선 단계와 통합적으로 고려한 결과 정책적 의사결정에 유용한 함의들을 도출할 수 있었다. 예를 들어 ④사회문제 조사에서 남성 응답자가 중요하게 여기는 것으로 파악된 가계 부채와 청년 일자리 문제가 함께 제시되었을 경우는, 성별 대신 정치적 성향이 결정요인으로 작용하여 진보적일수록 청년 일자리 문제를 선택하는 경향을 보였다. 또한 ④ESG 기업활동에 있어 글로벌 이슈 기여에 비해 재생 에너지 사용을 선호하는 경향은 투자의 관점에서는 저연령에서 나타났으나, 필요의 관점에서는 반대로 고연령에서 나타났다.

영어초록

Randomized paired comparison surveys have the advantage of clearly mapping the relative importance between items in respondents’ mind and can detect who are stakeholders in a specific context of choice. However, the format of raw data from survey is complicated, and if there are many items for pairng, the number of comparison pairs explosively increases, resulting in incomprehensible interpretation of survey results. In order to solve these problem and maximize the advantages of the paired comparison survey, this study proposes four- step procedures for effective analysis, with the examples of two online surveys. We also contribute to wider applications of the paired comparison survey by sharing our Python codes for automatic analysis and visualization.
The four proposed steps are in the order of ① identifying the overall ranking among items, ② exploring determinants by items, ③ producing detailed ordered map among items, and ④ analyzing a particular paired comparison and exploring determinants of a choice between the pair. The first survey for demonstration is the paired comparison of urgency from 13 social problems (N=1,002) and the second survey is that of relative importance from 15 corporate ESG (environmental, social, governance) practices (N=5,142).
Our analysis shows that ① the overall ranks of environmental problems are lower than expected in both surveys, suggesting that environmental issues are perceived as important but less urgent. ; ② both surveys consistently show that women value environments whereas older people value disaster prevention and symbiotic economy. ; ③ ordered value maps, by setting each item as a node and connecting them with a directed arrow to a more important item, enable us to detect preferences among items at a glance; and ④ exploring determinants of the choice between a pair yields useful implications for policy decision- making. For example, in comparison between the household debt and youth employment, both of which we had found to be preferred by the male respondents, political orientation emerges as a factor instead of gender: politically liberal respondents take the problem of youth employment more seriously than household debt. Concerning ESG practices, younger respondents prefer to invest in companies striving for renewable energy to companies contributing to global issues even though they think that our society needs the latter more than the former.

참고자료

· 없음