멀티스케일 특성을 활용한 비전 트랜스포머 기반 딥페이크 탐지에 관한 연구 (Vision Transformer-based Deepfake Detection Using Multiscale Features)

서지정보

· 발행기관 : 한국지능정보시스템학회
· 수록지 정보 : 지능정보연구 / 30권 / 2호 / 275 ~ 285페이지
· 저자명 : 정해민, 조혁주, 김우주, 이광연

초록

딥페이크는 이미지나 영상에서 특정 사람의 얼굴을 다른 사람으로 대체하는 딥 러닝 기술, 또는 이 기술을 이용해 생성한 가짜 이미지나 영상을 지칭한다. 딥 러닝 기술이 널리 보급되면서 딥페이크 기술에 대한 접근성이 높아졌고, 결과적으로 이를 악용한 범죄도 증가하고 있다. 이에 따라 효과적인 딥페이크 탐지 기술의 필요성이 점점 더 커지고 있다. 딥페이크 생성은 주로 신원 교체와 표정 재연이라는 두 가지 방식으로 이루어지는데, 기존의 탐지 기술은 딥페이크가 어떤 방식 으로 생성되었는지에 따라 탐지 성능의 편차를 보인다. 본 연구에서는 딥페이크 탐지 모델의 성능 편차를 줄임으로써 기존 방법론들의 한계를 보완할 수 있는 연구를 제안하고자 하였다. 제안하는 모델은 먼저 영상을 프레임 단위의 이미지들로 자른 다음, 딥페이크의 주된 대상 영역인 얼굴 부분과, 일종의 지역 정보라고 할 수 있는 입 부분을 각각 추출하여 멀티스케일 특성으로 활용한다. 각 특성을 서로 다른 비전 트랜스포머 구조에 입력한 다음, 출력되는 예측 결과들을 종합하여 동영상이 딥페이크인지 아닌지를 효과적으로 판단하게 된다. 특히, 얼굴 부분은 신원 교체 방식으로 생성된 딥페이크를 대응하는 데 도움이 되고, 입 부분은 표정 재연 방식의 딥페이크를 대응하는 데 도움이 되기 때문에 모델은 서로 다른 딥페이크 생성 방식에 대한 강건성을 갖게 된다. 제안하는 방법론을 두 개의 데이터셋에 대해 실험한 결과, 상대적으로 높은 탐지 성능과 함께 다양한 딥페이크 생성 방식에 대해 보다 범용적으로 대응할 수 있는 가능성을 확인하였다.

영어초록

Deepfake refers to deep learning technology that replaces a specific person’s face in an image or video with another person’s face, or to the fake images or videos generated using this technology. As deep learning technology has become widely disseminated, access to deepfake technology has increased, resulting in a rise in crimes exploiting it. Consequently, there is a growing need for effective deepfake detection technologies. Deepfake generation primarily occurs through two methods: identity swap and facial reenactment. Existing detection technologies exhibit performance variations depending on the method of deepfake generation. This study aims to propose a research approach that addresses the limitations of existing methodologies by reducing the performance disparity of deepfake detection models. The proposed model first cuts a video into frame-by-frame images, then extracts the face area, which is the main target of deepfakes, and the mouth area, which can be considered a type of local information, and utilizes them as multi-scale features. By inputting each feature into different vision transformer structures and integrating the resulting predictions, the model effectively determines whether a video is a deepfake. Specifically, the face area helps address identity swap deepfakes, while the mouth area assists in handling facial reenactment deepfakes, thereby endowing the model with robustness against different deepfake generation methods. Experimental results on two datasets demonstrate the proposed method’s relatively high detection performance and its potential for more generalizable response to various deepfake generation methods.

참고자료

· 없음