강건한 이미지 초해상도를 위한 적응형 가중치 맵을 사용한 메타 학습 (Meta-learning with Pixel-wise Adaptive Weight for Robust Image Super-resolution)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 61권 / 3호 / 93 ~ 101페이지
· 저자명 : 장종환, 최장훈

초록

이미지 초해상도(SR)는 저해상도 이미지를 고해상도 이미지로 변환하는 컴퓨터 비전 기술이다. 딥러닝의 등장으로 새롭고 효과적인 SR 방법들이 많이 제안되었지만, 현재 대부분의 SR 방법들은 저해상도 이미지의 저하 과정이 bicubic downsampling이라고 가정하므로, 여러 내/외부 요인으로 다양한 저하 유형을 가지는 실제 이미지에는 잘 적용되지 않는 문제가 있다. 본 논문에서는 SR 네트워크 구조를 변경하지 않고, 입력 이미지의 내부 정보를 활용해 단일 이미지 초해상도 성능을 개선하는 방법을 제안한다. 이미지 내부 정보를 활용하기 위해 입력 이미지에 특화된 적응형 픽셀 단위 가중치 맵(PAW)을 구축하는 메타 러너 네트워크를 사용하는 메타 학습 방법을 사용한다. 이 접근법은 bicubic downsampling뿐만 아니라, blind downsampling에도 빠르게 적응 가능하며, 네트워크가 이미지의 복잡한 부분에 더 집중하도록 유도함으로써 성능을 향상시킨다. 다양한 벤치마크 SR 데이터 세트에서의 실험 결과, 제안 방법이 기존 SR 네트워크의 구조를 유지하면서 성능을 향상시키는 것을 확인했다.

영어초록

Image super-resolution(SR) is a computer vision task that converts low-resolution images into high-resolution images. With the advent of deep learning, many new and effective methods have been proposed. However, most SR methods are conducted under the assumption that the low-resolution degradation process is bicubic downsampling, so there is a problem that they are not well applied to real images with complex degradation types. In this work, we propose a method to improve the performance of Single Image Super-Resolution that is robust against various degradation types, without changing the architecture of conventional SR network, by utilizing the internal information. For utilizing the internal information, we adopt a meta-learning algorithms using a meta-learner network, which constructs an pixel-wise adaptive weight map(PAW) tailored to the given input image. This approach can be quickly applied to bicubic downsampling kernels as well as blind downsampling kernels and improves performance by encouraging the network to focus more on complex parts of the image. Experiments on various benchmark SR datasets show that our proposed method improves the performance while maintaining the structure of the existing SR network.

참고자료

· 없음