딥 러닝(Deep learning)기반 동영상 처리 알고리즘을 통한 19대 대선 TV토론 영상분석 후보자들의 등장빈도, 표정, 응시방향에 대한 분석 (Analysis of the 19th Presidential TV Debate Using Deep Learning Based Video Processing Algorithms Analysis of the frequency, facial expression and gaze)

서지정보

· 발행기관 : 한국언론학회
· 수록지 정보 : 한국언론학보 / 64권 / 5호 / 319 ~ 372페이지
· 저자명 : 최윤정, 정유진, 윤호영, 김민정, 김나영, 첸루, 신주연, 이주희, 김나영, 여은, 강제원

초록

본 연구는 인공지능 딥 러닝 기술을 적용한 알고리즘을 구축해, 2017년 19대 대선 기간에 진행된 TV토론 자료 중 정치인들의 표정 및 응시방향을 분석했다. TV토론에서 후보들이 보여준 비언어적 메시지, 구체적으로 표정(분노, 짜증, 만족, 무표정)과 응시방향을 분석하기 위해 딥 러닝 기술을 이용해 분류 네트워크 알고리즘을 구축하고 6차례의 토론 데이터를 분석했다. 또한 영상분석결과를 패널 설문조사 데이터와 통합하여 TV토론에서 후보들이 보여준 표정의 비율에 따라 후보에 대한 호감도 평가가 어떻게 달라지는지 다층모형 분석을 실시했다. 연구 결과, 문재인 후보가 만족스러운 표정을 가장 많이 지었고 유승민 후보는 무표정한 얼굴로 감정을 잘 드러내지 않았다. 다층모형 분석결과, 긍정적 이미지인 만족스러운 표정은 후보의 호감도를 더 긍정적으로 평가하도록 유의한 영향을 미쳤는데, 변화의 폭은 투표를 하지 않은 그룹보다 투표를 한 그룹에서 더 크게 나타났다. 지상파, 종합편성채널, 온라인 미디어 등 주로 사용하는 미디어로 집단을 구분한 분석에서는 분노한 표정에 따라 호감도 변화가 유의하게 달랐다. 분노한 표정에 노출된 경우 후보에 대한 호감도가 유의하게 변화하는데 종편을 주로 사용하는 그룹은 지상파 주 이용 그룹보다 후보를 긍정적으로 평가하는 것으로 나타났다. 본 연구는 TV토론에서 정치인의 비언어적 메시지가 유권자에게 미치는 영향을 밝혔고, 이후 정치인들의 표정과 응시방향을 자동적으로 분류할 수 있는 알고리즘을 개발했다는 점에서 의미가 있다.

영어초록

This study analyzed the frequency of appearance and nonverbal messages of political candidates in the television debates for the 19th presidential election held in 2017. To analyze nonverbal messages, facial expressions (angry, irritated, satisfied, and neutral) and the direction of gaze in the six televison debates, a classification network was constructed using deep learning technology. For this analysis, videos of six television debates held for 120 minutes per episode were collected, and image data was extracted at the rate of 30 frames per second as a frame, which resulted in image data of approximately 1.25 million frames. After that, this study built an image-analyzing system through deep learning, which automatically recognizes and classifies candidates appearing in videos, and then analyzes video frames by their facial expressions and direction of gaze. Then, the system counts how often each candidate appeared during all television debates in seconds, and analyzes the proportion of facial expressions of the candidates during the entire television debates. The results showed that Sang-Jung Shim appeared the most over three debates, followed by Chul-soo Ahn in two debates and Jae-in Moon in one. The least appeared candidate was Jun-pyo Hong. As for the facial expression, Moon showed the most satisfactory facial expressions, and Seung-min Yoo expressed his emotion the least. Hong showed the irritated expression the most, indicating that he had difficulty managing his facial expression. Additionally, this study conducted a multi-level analysis combining the image data with a panel survey, which measured respondents' preference of candidates before and after the presidential campaign, and the number of times they watched the debates. The multi-level analysis confirmed that the preferences of the candidates changed depending on the exposure to the facial expressions made by the candidates in the actual televison debates. As for the satisfactory expression and the expressionless face, the candidates were evaluated more positively as the expression exposure increased. In the case of the angry expression, the degree of candidate favorability decreased after the exposure. These results suggest that the viewers’ evaluations of the candidates changed substantially according to the candidates' facial expressions in the debate. In an era where communication scholars are expanding their research areas by converging with new disciplines such as media engineering and data science, this study suggests a new research direction. We hope that this study lays the groundwork for the research on media analysis using algorithms and deep learning.

참고자료

· 없음