영상의 구조적 왜곡억제를 위한 희소 그라디언트 가이드 주의집중 및 웨이블릿 손실을 활용한 초해상화 (Super Resolution with Sparse Gradient-Guided Attention and Wavelet Loss for Suppressing Image Structural Distortion)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 20권 / 4호 / 107 ~ 122페이지
· 저자명 : 송건학, 이휘종, 손창환, 추현승

초록

적대적 생성망 기반의 초해상화 모델은 인지적 측면에서 만족할만한 우수한 영상 화질을 제공할 수 있지만 텍스처 영역에서 구조적인 왜곡 문제를 일으킨다. 이를 개선하기 위해, 생성자에 그라디언트 부신경망과 그라디언트 손실함수를 통합함으로써 텍스처 왜곡을 완화할 수 있지만, 여전히 텍스처 왜곡 문제는 현안으로 남아있다. 따라서 본 논문에서는 텍스처 왜곡이 보정된 초해상화 영상 복원을 위해 희소 그라디언트 가이드 주의집중 및 웨이블릿 손실함수 기반 초해상화 딥러닝 모델을 제시하고자 한다. 특히, 특징 간의 전역적 상호의존성을 모델링할 수 있는 희소 그라디언트 가이드 주의집중 모듈을 고안하여 텍스처 복원력을 제고하고자 한다. 또한, 텍스처 왜곡을 억제하기 위한 웨이블릿 기반 손실 모델을 제안하고자 한다. 실험 결과를 통해 제안된 초해상화 모델이 기존의 최신식 초해상화 모델에 비해, 텍스처 복원력을 개선하고 더 선명한 초해상화 영상을 생성할 수 있음을 보이고자 한다.

영어초록

Even though SR(Super-Resolution) models based on Generative Adversarial Networks(GANs) can recover perceptually pleasant image quality, they cause structural distortions in the texture area. To address this problem, gradient subnetwork and gradient-based loss model are incorporated into the generator to alleviate the image structure distortion, however textural distortions still remain a pending issue. Therefore, this paper proposes the SR deep learning model based on the sparse gradient-guided attention and wavelet loss that corrects the texture distortions for better SR image restoration. In particularly, a sparse gradient-guided self-attention to model global interdependency between features is designed, thereby increasing the power of structural reconstruction. In addition, a wavelet-based loss model that more strongly suppresses the textural distortions is presented. Through the experimental results, it is confirmed that the proposed SR model improves the power of texture reconstruction and generates much clearer SR images, compared to the state-of-the-art conventional SR methods.

참고자료

· 없음