딥러닝 기반 실시간 얼굴 모자이크 기법을 활용한 초상권 보호 시스템 (Portrait Right Protection System Using Real-Time Face Mosaic Technique Based on Deep Learning)

서지정보

· 발행기관 : 한국지식정보기술학회
· 수록지 정보 : 한국지식정보기술학회 논문지 / 16권 / 3호 / 405 ~ 413페이지
· 저자명 : 심우석, 전병태

초록

최근 개인이 촬영한 영상을 인터넷에 업로드하는 일들이 빈번하게 이루어지고 있다. 영상 속에는 본인뿐만 아니라 주변 인물까지 포함되어 있고 이를 그대로 업로드할 경우 주변 인물에 대한 개인정보보호 및 초상권 침해 문제가 발생할 수 있다. 기존에는 영상 편집 프로그램을 이용하여 시간에 따라 움직이는 사람들의 얼굴을 수동으로 모자이크하는 방식으로 타인의 초상권을 보호한다. 하지만 이는 매우 번거로운 작업이며 기존의 자동 모자이크 시스템 역시 영상에서 식별 가능한 모든 얼굴을 제대로 검출해내지 못하고 추적하던 얼굴을 놓치는 경우가 빈번하게 발생하여 원하지 않는 사람들의 얼굴이 그대로 노출되는 한계를 가지고 있다. 이에 의도치 않게 발생하는 초상권 침해 문제를 방지하고자 본 논문에서는 딥러닝을 활용한 초상권 보호 시스템을 제안한다. 제안하는 시스템은 YOLOv3, Face-Net, SORT 알고리즘을 활용하여 실시간으로 등록된 사용자의 얼굴을 제외한 다른 사람들의 얼굴을 모자이크하여 초상권을 보호한다. 기존의 자동 모자이크 시스템에 비해 식별 가능한 모든 얼굴을 검출해내며 보다 정확히 얼굴 영역을 모자이크 처리한다. 일정 프레임을 건너뛰어 얼굴 검증을 수행하는 방식으로 병목현상을 완화하여 실시간으로 동작할 수 있으며 SORT 객체 추적 알고리즘을 통해 카메라에 비치는 얼굴의 다양한 변화에 유연하게 대응할 수 있도록 하였다. 실험 결과 수동으로 타인의 얼굴을 모자이크하는 작업을 자동화하여 사용자의 편의성을 향상시킬 수 있으며 기존의 자동 모자이크 시스템에 비해 뛰어난 성능을 보여준다.

영어초록

Recently, the number of cases uploading videos taken by individuals on the Internet has increased. Uploading a video that includes not only yourself but also people around you can cause infringement of portrait rights and privacy issues. In general, The portrait rights of others are protected by manually blurring faces of people moving over time using a video editing program. However, this is a very cumbersome task and the existing automatic mosaic system also has limitations because it does not detect all identifiable faces properly in videos and it misses tracked faces frequently. Therefore, to prevent the problem of infringement of portrait rights, this paper proposes a portrait rights protection system using deep learning. The system uses YOLOv3, Face-Net, and SORT algorithm to protect the portrait rights by blurring faces of other people except the users registered in the system. Compared to the existing automatic mosaic system, It can detect all identifiable faces and blur faces more accurately. It can operate in real-time by skipping a certain frame and performing face verification. It is also possible to flexibly respond to various changes of the face reflected on the camera by applying the SORT object tracking algorithm. The proposed system can improve convenience for users by automating the task of manually blurring faces of people and it shows superior performance compared to the existing automatic mosaic system.

참고자료

· 없음