영상 흔들림 보정 구조를 적용한 시선 추정 딥러닝 모델 기반의 아동 집중도 분석 시스템 (Visual Attention Analysis System for Children using on Deep Learning Model of Gaze Estimation with Video Stabilization Structure)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 60권 / 4호 / 28 ~ 38페이지
· 저자명 : 김호영, 박윤하, 이종택

초록

본 논문에서는 딥러닝 기반의 영상 흔들림 보정 구조를 적용한 시선 추정 모델(VSL2G-Net)과 이를 이용한 아동 집중도를 분석하는 시스템을 제안한다. 사람의 집중도를 분석하기 위해서는 그 사람의 시선 정보를 알아야 하기에, 시선 추정을 정확하게 하는 것은 매우 중요하다. 하지만, 유치원 대면 수업의 경우 아동의 움직임이 잦아 유치원 선생님이 카메라를 들고 움직이며 촬영되는 경우가 많았다. 따라서, 이런 영상을 사용하여 아동의 수업 집중도를 분석하기 위해 시선 추정 딥러닝 모델로 실험한 결과, 시선 추정의 정확도가 낮았다. 본 문제를 해결하고자 본 논문은 딥러닝 기반의 영상 흔들림 보정 모델의 구조를 적용한 시선 추정 모델을 제안하여 흔들림 영상에서 강인하게 아동의 시선을 추정한다. 그리고 추정된 결과가 영상에서 집중해야 하는 영역을 통과하는지를 통해 아동의 집중도를 분석하는 시스템을 제안한다. 제안하는 방법을 사용하여 흔들림 보정 구조를 적용한 시선 추정 모델과 적용하지 않은 시선 추정 모델을 비교 실험한 결과 집중력 분석 시스템의 정확도가 평균 0.961에서 0.967로 향상되었음을 확인하였다.

영어초록

This paper proposes a deep learning-based gaze estimation model (VSL2G-Net) and a system for analyzing child attention by utilizing the proposed model. In order to analyze people's attention, it is crucial to estimate their gaze information accurately. However, children in kindergarten's face-to-face classes were mostly recorded by a camera held by their teachers due to their frequent and vigorous movements. When we applied a gaze estimation deep learning model on such video footage to analyze the child's class attention, the gaze estimation accuracy was low. To solve this problem, we propose a deep learning-based gaze estimation model that applies the structure of a video stabilization model. In addition, we propose a system that analyzes the children's visual attention by determining whether the estimated gaze passes through the area to be focused in the image. The accuracy of the attention analysis system improved from an average of 0.961 to 0.967 after applying the video stabilization structure to the gaze estimation model, compared to the model without the stabilization structure.

참고자료

· 없음