Transformer 기반 딥러닝 모델을 활용한 ERS SAR 영상 초해상화 연구 (Transformer-Based Deep Learning Models for ERS SAR Image Super- Resolution)

서지정보

· 발행기관 : 대한원격탐사학회
· 수록지 정보 : 대한원격탐사학회지 / 41권 / 1호 / 143 ~ 152페이지
· 저자명 : 이준원, 윤승원, 이규철

초록

합성개구레이더(synthetic aperture radar, SAR) 영상 복원은 해상도를 향상시키고 노이즈를 억제하여 다양한 응용 분야에서 활용된다. 그러나 SAR 영상은 스페클 노이즈(speckle noise), 강한 방향성, 다중 산란 등의 특성을 가지며, 기존 영상 복원 기법으로 처리하기 어려운 한계가 있다. 이를 해결하기 위해 기존에는 초해상화 합성곱 신경망(super-resolution convolutional neural network, SRCNN), 심층 초해상화(verydeep super-resolution, VDSR), 잔차 채널 어텐션 네트워크(residual channel attention network, RCAN) 등convolutional neural network (CNN) 기반 모델이 활용되어 왔다. 그러나 이러한 모델들은 지역적 특징 학습에는 효과적이지만, SAR 영상의 복잡한 구조적 특성과 장거리 의존성을 충분히 모델링하지 못해 세부 패턴복원에 한계를 가진다. 본 연구에서는 이러한 문제를 해결하기 위해 Enhanced SwinIR 모델을 제안한다. 제안된 모델은 윈도우 기반 로컬 어텐션(local attention)과 전역 어텐션(global attention을 결합한 CombinedAttention Mechanism을 적용하고, 학습 가능한 Sobel 필터를 포함한 Edge Enhance Residual Block을 통합하여 엣지 복원 성능을 향상시켰다. ERS-1 및 ERS-2 위성의 SAR 영상을 활용한 실험 결과, Enhanced SwinIR모델은 CNN 기반 모델(SRCNN, VDSR, RCAN)의 평균 피크 신호 대 잡음비(peak signal-to-noise ratio,PSNR) 22.457dB 대비 0.956dB 증가한 23.413dB, 구조적 유사도 지수(structural similarity index, SSIM) 0.893대비 0.019 증가한 0.912, 스페클 노이즈 억제 지수(speckle suppression index, SSI) 7.823 대비 0.830 증가한8.653의 성능을 기록하였으며, 기존 SwinIR 대비 SSIM은 0.003, SSI는 0.067 더 높은 성능을 보였다. 이를 통해 Enhanced SwinIR이 SAR 영상 복원에서 구조적 유사성과 스페클 노이즈 측면에서 향상된 복원 성능을보였음을 확인하였다.

영어초록

Synthetic aperture radar (SAR) image restoration plays a crucial role in enhancing spatialresolution and suppressing noise, enabling various applications such as terrain analysis, disaster monitoring,and military reconnaissance. However, SAR images exhibit speckle noise, strong directional characteristics,and multiple scattering effects, making them challenging to process with conventional image restorationtechniques. To address these challenges, convolutional neural network (CNN)-based models such as superresolutionconvolutional neural network (SRCNN), very deep super-resolution (VDSR), and residualchannel attention network (RCAN) have been widely employed. While these models effectively capturelocal features, they are limited in modeling the complex structural characteristics and long-rangedependencies inherent in SAR imagery, leading to suboptimal restoration of fine details. In this study, wepropose Enhanced SwinIR, an improved Transformer-based model designed to overcome these limitations.
The proposed model integrates the Combined Attention Mechanism, which fuses window-based localattention with global attention and incorporates the Edge Enhance Residual Block, which employs alearnable Sobel filter to improve edge preservation. Experimental evaluations using SAR images from theERS-1 and ERS-2 satellites demonstrate that the Enhanced SwinIR model outperforms CNN-based models(SRCNN, VDSR, RCAN), achieving a peak signal-to-noise ratio (PSNR) of 23.413 dB, an increase of 0.956dB compared to the CNN average of 22.457 dB. Additionally, it achieves a structural similarity index (SSIM)of 0.912, surpassing the CNN average of 0.893 by 0.019, and a speckle suppression index (SSI) of 8.653, animprovement of 0.830 over the CNN average of 7.823. Furthermore, compared to the original SwinIR,Enhanced SwinIR improves SSIM by 0.003 and SSI by 0.067. These results confirm that Enhanced SwinIRsignificantly enhances SAR image restoration performance, particularly in terms of structural similarityand speckle noise suppression.

참고자료

· 없음