SNS 사용자 특성과 확증 편향을 통한 자동화된 팩트체킹의 가능성 : 정치인 관련 트윗 데이터를 중심으로 (Possibility of Automated Fact Checking through SNS User Characteristics and Confirmatory Bias)

서지정보

· 발행기관 : 한국방송학회
· 수록지 정보 : 방송통신연구 / 108호 / 78 ~ 117페이지
· 저자명 : 정성욱, 이준환, 이준환

초록

자연어 처리 기술이 발달되어 있는 미국에서는 인공지능 등 컴퓨터 과학을 통해 팩트체킹을 자동화하려는 시도가 이어지고 있다. 하지만 국내 소셜 미디어 환경과 한국어를 대상으로 한 팩트체킹의 자동화 연구는 찾아보기 힘든 실정이다. 본 연구는 메시지 내용이 아닌, SNS 사용자의 다양한 특성을 고려하여 거짓 정보를 판단할 수 있는지를 확인해 보았다. 트위터에 올라온 3017개의 트윗을 네 가지 변인군을 통해 거짓 정보를 담고 있는 트윗인지 여부를 어느 정도까지 판별할 수 있을지 로지스틱 회귀 분석을 통해 분석해 보았다. 분석 결과, 네 가지 변인군 모두 통계적으로 유의미한 영향을 갖는 것으로 나타났다. 특히, 기존 ‘거짓(혹은 사실) 트윗에 좋아요’라고 누른 사용자와 관련된 변인군이 가장 큰 영향력을 미치는 것으로 분석되었다. 본 연구는 통계적 분석 방법뿐만 아니라 기계 학습(machine learning)을 통해서도 거짓 정보를 담고 있는 트윗을 찾아내는 비율, 즉 민감도를 얼마나 높일 수 있을지 알아보았다. 분류 모델을 대표하는 로지스틱 리그레션을 통해 민감도를 69%까지 증가시켰으며, 의사 결정 나무를 통해서는 73%까지 거짓 정보 트윗을 찾아내는 성과를 올렸다. 이는 통계적 방법(위계적 로지스틱 회귀 분석)을 사용했을 때보다 기계 학습을 사용했을 때 각각 14%p와 18%p 향상된 수치다. 이 같은 결과를 토대로 자동화 팩트체킹의 가능성과 한계, 후속 연구 등에 대해서도 논의했다

영어초록

In the U.S., where natural language processing technology is developed, attempts are being made to automate fact checks through computer technologies such as artificial intelligence. However, little has been done to automate the fact chalking of the domestic social media environment and the Korean language. Therefore, this study confirmed that false information can be determined by considering various characteristics of SNS users rather than message contents. We analyzed 3017 tweets posted on Twitter using logistic regression to determine whether they are tweets containing false information through four variable groups. The analysis shows that all four variable groups have statistically significant effects. In particular, it was analyzed that the set of characteristics related to which tweet is pressed as “likes” has the greatest influence. In addition to statistical analysis, the study looked at the rate of finding tweets that contain false information through machine learning, i.e. how much sensitivity can be increased. The logistic regressions representing the classification model increased the sensitivity by 69 %, and the decision tree helped detect false information tweets up to 73 %. This is a 14%p and 18%p improvement in machine learning compared to the statistical method (hierarchical logistic regression). Based on these findings, it also discussed the possibility and limitations of automated fact checking and follow-up research.

참고자료

· 없음