시각 인지 특성을 반영한 생성적 이미지 인페인팅 기술 (Generative Image Inpainting Method Reflecting Human Perceptual Characteristic)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 58권 / 6호 / 41 ~ 49페이지
· 저자명 : 오희석, 최원석

초록

이미지 인페인팅은 의도적 혹은 비의도적으로 발생한 손실 영역을 자동으로 복원하는 기술이며, 특히 편집 관점에서는 사용자가 직접 특정 객체를 제거하기 위한 목적으로 널리 활용된다. 고전적인 확산 및 패치 기반 접근과 더불어, 최근에는 타 컴퓨터 비전 분야와 마찬가지로 심층신경망을 활용한 기술들이 소개되었다. 하지만 기존 CNN(convolutional neural network) 및 GAN(generative adversarial network) 기반 인페인팅 결과는 블러나 시각적 결함(artifact)과 같은 화질 저하 요소를 빈번히 포함한다. 이는 인페인팅 시나리오에 있어 전역적 의미 추론을 위해 CNN을 통해 특징 공간에 임베딩된 표현이, 손실 영역 복원을 위한 구조적 정보와 고주파 성분으로 동시에 디코딩되기 어려움을 의미한다. 본 논문에서는 이러한 한계를 극복하고자 인간의 시각 인지 특성을 반영한 두 단계의 인페인팅 과정을 제안한다. 제안 방법은 두 개의 GAN으로 구성되어 있으며, 첫 번째 생성망은 시각 정보의 일차시각피질 전달 과정을 모방한 MSCN(mean subtracted contrast normalized) 계수를 생성한다. 두 번째 생성망은 이미지 완성을 위해 생성된 MSCN 계수를 사전 구조 정보로 이용함으로써 손실 영역이 복원된 RGB 이미지를 생성한다. 가중치를 공유하지 않는 두 독립적인 생성망은 각각의 판별망에 적대적으로 end-to-end 학습되며, 두 단계에 걸친 추론을 통해 손실 영역의 단순한 구조 뿐 아닌 미세 성분까지 효과적으로 복원이 가능하다. CelebA 데이터셋을 활용한 실험을 통해 제안하는 시각 인지 특성을 반영한 생성적 인페인팅 방법이 넓은 비규칙적 손실 영역에 대해서도 기존 기술 대비 정성적/정량적으로 우수한 성능을 나타냄을 확인하였다.

영어초록

Image inpainting represents a technique of recovering the content in missed spatial area, and which is widely being employed to discard an unwanted object in terms of image adjustment. In recent, beyond the conventional diffusion- and patch-based approaches, various deep learning-based schemes have been introduced as the other computer vision tasks. However, inpainting methods with utilizing a CNN (convolutional neural network) and GAN (generative adversarial network) generally resulted in the blurred image or local artifacts. That is, previous methods cannot effectively decode the embedded features for abstracting global semantic representation to RGB image domain implying contextual structure and fine-details simultaneously. To cope with this problem, we propose a two-stage inpainting scheme reflecting the human’s perceptual characteristic. The proposed method consists of two GANs. The first generative network aims for generation of MSCN (mean subtracted contrast normalized) coefficients which resembles a visual conveyance process from the eyes to the primary visual cortex (area V1) in the brain. The second generative network completes RGB image which refers the generated MSCN coefficients as a prior structural information. Non-shared two generative networks with each corresponding discriminator are trained in end-to-end manner, and the result argues that the proposed two stage method can sufficiently recover both structure and high-frequencies of the missed regions. The experiments are performed on CelebA dataset, and the quantitative results show that the proposed generative inpainting scheme reflecting perceptual characteristic outperforms the previous methods regarding visual quality even in a large irregular hole scenario.

참고자료

· 없음