시청자의 시각적 주의 연구를 통한 시각적 매체에서 비언어 커뮤니케이션의 효과적인 감정 및 상태 정보 전달 연구 -얼굴 표정과 몸짓을 중심으로- (A Study on the Nonverbal Communication for the Efficient Delivery of the Emotion and State Information in Visual Media based on the Study on the Audiences’ Visual Attention -Focused on Facial Expressi)

서지정보

· 발행기관 : 한국만화애니메이션학회
· 수록지 정보 : 만화애니메이션연구 / 68호 / 451 ~ 481페이지
· 저자명 : 장다윤, 김창원, 김지윤

초록

사람들은 의사소통할 때 언어적 표현과 비언어적 표현으로 의미를 전달한다. 얼굴 표정과 몸짓은 특정 심리 상태, 반응 및 의도를 표현하고 상대방의 감정을 추론할 수 있는 핵심적인 정보를 전달한다.
신경심리학 연구에서 얼굴 표정은 신경회로를 통해 내적 감정 상태와 연결되어 있어서 표정을 통해 내적 상태 정보를 전달하고 이로 인해 사람들은 무의식적으로 정보를 읽기 위해 상대방의 얼굴을 먼저 본다고 한다. 몸짓이나 자세와 같은 동작 요소들은 심리상태에 따른 움직임의 특징을 가지고 있으며, 팔의 방향이나 위치, 손의 모양이나 동작의 속도 등을 조절하여 감정 및 상태 정보를 전달한다.
본 연구에서는 비언어적 의사소통에서 정보를 전달하고 상태 및 감정을 추론할 수 있는 얼굴 표정과 몸짓에 시선이 집중된다는 선행연구를 바탕으로 어떤 요소가 시청자에게 더 중요한 요소인지 알아보았다. 영상매체에서 시청자의 시선이 어디로 집중 및 분산이 되는지 아이트래킹 시선 움직임 실험을 통해 얼굴표정과 몸짓의 상관관계를 분석하였다.
시선 집중도를 알아보기 위한 실험 결과, 얼굴 표정 부분에 시선이 먼저 응시하였으며 이를 통해 표정을 먼저 읽으려고 시도하였다는 것을 알 수 있다. 시각적 관심도를 알아보기 위해 총 응시 횟수를 실험한 결과 시청자는 얼굴 표정을 읽으려는 습관으로 인해 표정이 가려졌어도 시선은 얼굴 표정부분으로 계속 응시했음을 알 수 있다. 시청자들은 얼굴 표정을 통해서 상태 및 감정을 이해하고 파악한다는 선행연구의 결과와 같다. 시청자의 시각적 관심도는 몸짓보다는 얼굴 표정에 있음을 알 수 있다.
기존의 비언어적 표현의 시각적 주의 연구는 캐릭터 혹은 이미지를 실험 대상으로 연구하였으며 시각 영상 매체를 분석한 시각적 주의 연구는 부족하다. 본 연구에서는 영상을 보는 시청자의 시각적 주의를 얼굴 표정과 몸짓을 나눠서 비교 분석하였다. 조사한 실증적 연구 결과를 통해 다양한 시각적 매체와 가상 캐릭터 산업, 디지털 콘텐츠 영상 제작에서 효과적인 감정 및 상태 표현 정보 전달을 위해 고려할 요소로 참고하고 활용할 수 있다.

영어초록

People deliver their expression in both verbal and nonverbal ways. Nonverbal expression is the nonverbal communication based expression using the motions of various body parts. The facial expression and gesture show specific mental state, reaction and intention to deliver the core information that enables the counterpart can infer the expresser’s emotion.
According to some of neuro-psychology studies, the facial expression connects to the expresser’s internal emotion state through neuro-circuit making her or his internal state information delivered to her or his counterpart. In any situation, therefore, people look at the counterparts’ faces unconsciously to read the counterparts’ information. Such motional factors as gesture and posture have the motional characters depending on the expresser’s mental state, so that the expresser delivers her or his emotion and state information by controlling her or his arms’ direction or position, hand shape or motion speed and etc.
This study looks into which factors are more important to the audience based on the preceding research, which indicates that the eyes are caught to the facial expression and gesture that deliver the expresser’s information and enable the audience to infer her or his state and emotion. That is, this study analyzes the correlation between the facial expression and gesture based on the test of eye-tracking gaze motion: where the audience’s eyes are caught to and dispersed from.
The test result of the focus level indicates that the eyes are first focusing on the facial expression, which the audiences try to read the expresser’s face by. The total gaze number is tested to look into the visual interest level and the test result shows that the audiences’ eyes keep being caught to the facial expression part due to their habit of trying to read the expresser’s face even after the expresser’s face is blocked. This result is as same as the result of the preceding research, which indicates that the audiences understand and grasp the expresser’s state and emotion through her or his facial expression. According to also the study result based on the eyes’ fixation time test additionally conducted, the visual processing is bigger on the facial expression than gesture to try to read the information through the facial expression. The focus and interest level test indicates that the audiences’ visual interest level is higher on the facial expression than on the gesture.
The preceding research of the visual attention based on nonverbal expression targets the characters and images as its test objects, so that it is insufficient in the visual attention study that analyzes the visual media as nonverbal expression. This study, therefore, divides the audiences’ visual attention into the facial expression and gesture on each video footage to compare and analyze. The practical results of this study can be referred to and used as the factors to consider for efficient delivery of the information of emotion and state expression in digital contents video production.

참고자료

· 없음