고해상도 광학영상 복원을 위한 딥러닝 기반 SAR-광학 영상 변환 모델 비교 (Comparison of Deep Learning-Based SAR-to-Optical Image Translation Models for High Spatial Resolution Optical Image Restoration)

서지정보

· 발행기관 : 대한원격탐사학회
· 수록지 정보 : 대한원격탐사학회지 / 40권 / 6호 / 881 ~ 893페이지
· 저자명 : 박소연, 곽근호, 황의호, 박노욱

초록

초소형 군집위성을 포함한 시간해상도가 높은 고해상도 위성영상의 이용이 증가하고 있지만, 광학영상 내 구름이나 구름 그림자로 인한 결측 지역의 복원은 여전히 시계열 영상 구성에서 매우 중요하다. 합성개구레이더(synthetic aperture radar, SAR) 영상을 광학영상으로 변환하는 SAR-광학영상 변환은 광학영상의 결측 지역 복원에 효과적인 방법으로 적용되고 있다. 그러나 SAR-광학영상 변환을 고해상도 광학영상의결측 지역 복원에 적용한 사례는 많지 않다. 이 연구에서는 고해상도 광학영상 복원을 위한 생성적 적대 신경망(generative adversarial networks, GAN) 기반 SAR-광학영상 변환 모델의 성능을 비교하고자 한다. 대표적인 GAN 기반 모델인 Pix2Pix, CycleGAN 그리고 다중시기 영상 페어를 추가로 이용하는 multi-temporalconditional GAN (MTcGAN)을 선정하였다. 김제 평야 일대에서 촬영된 단일 편파 COSMO-SkyMed 영상과다중분광 PlanetScope 영상을 이용하여 SAR-광학영상 변환 실험을 수행하였고, 다양한 다중시기 영상 페어에 따른 예측 성능을 비교하였다. 실험 결과, Pix2Pix, CycleGAN, MTcGAN의 다중 분광밴드 유사도를 나타나내는 spectral angle mapper 값은 각각 최소 9.1°, 13.4°, 6.9°로 나타나MTcGAN이 실제 광학영상과 분광학적으로 가장 유사한 예측 결과를 생성하였다. 또한MTcGAN은 정량 및 정성적 평가에서 고해상도 구조 정보를 효과적으로 반영하였다. 이러한 결과는 딥러닝 기반 SAR-광학영상 변환에서 추가 입력 특징의 사용이예측 정확도를 향상시킬 수 있음을 나타낸다.

영어초록

Despite the increased availability of high spatial resolution satellite images with high temporalresolution, including micro-satellite constellations, the restoration of missing regions due to clouds andcloud shadows in optical imagery remains crucial for constructing optical image time series. The translationof synthetic aperture radar (SAR) imagery into optical imagery, known as SAR-to-optical image translation,has been effectively applied for optical image restoration. However, few studies have applied SAR-to-opticalimage translation to restore missing regions in high spatial resolution optical imagery. This study evaluatesthe performance of SAR-to-optical image translation models using generative adversarial networks (GAN)for high spatial resolution optical image restoration. Three representative GAN-based models, includingPix2Pix, CycleGAN, and multi-temporal conditional GAN (MTcGAN), were selected in this study.
MTcGAN, which utilizes additional multi-temporal SAR and optical image pairs, was particularly selectedto investigate the effects of input images. SAR-to-optical image translation experiments were conductedusing COSMO-SkyMed single-polarization images and multi-spectral PlanetScope images from the GimjePlain area, with performance evaluation of predictions across various multi-temporal image pairs. Theresults showed that the spectral angle mapper values, which represent the multi-spectral band similarity,for Pix2Pix, CycleGAN, and MTcGAN were 9.1°, 13.4°, and 6.9° respectively, indicating that MTcGANgenerated predictions most spectrally similar to actual optical images. Furthermore, MTcGAN effectivelypreserved detailed structural information in both quantitative and qualitative evaluations. These findingssuggest that incorporating additional input features in deep learning-based SAR-to-optical imagetranslation can improve prediction accuracy.

참고자료

· 없음