다중센서 고해상도 위성영상의 딥러닝 기반 영상매칭을 위한 학습자료 구성에 관한 연구 (A Study on Training Dataset Configuration for Deep Learning Based Image Matching of Multi-sensor VHR Satellite Images)

서지정보

· 발행기관 : 대한원격탐사학회
· 수록지 정보 : 대한원격탐사학회지 / 38권 / 6호 / 1505 ~ 1514페이지
· 저자명 : 강원빈, 정민영, 김용일

초록

영상정합은 다시기 및 다중센서 고해상도 위성영상을 효과적으로 활용하기 위해 필수적으로 선행되는중요한 과정이다. 널리 각광받고 있는 딥러닝 기법은 위성영상에서 복잡하고 세밀한 특징을 추출하여 영상 간빠르고 정확한 유사도 판별에 사용될 수 있음에도 불구하고, 학습자료의 양과 질이 결과에 영향을 미치는 딥러닝 모델의 한계와 고해상도 위성영상 기반 학습자료 구축의 어려움에 따라 고해상도 위성영상의 정합에는 제한적으로 적용되어 왔다. 이에 본 연구는 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 과정에서 딥러닝 기반 기법의 적용성을 확인하기 위하여, 편향성이 존재하는 고해상도 위성영상 데이터베이스로부터 딥러닝 영상매칭 학습자료를 구축하고 학습자료의 구성이 정합쌍 추출 정확도에 미치는 영향을 분석하였다. 학습자료는 12장의 다시기 및 다중센서 고해상도 위성영상에 대하여 격자 기반의 Scale Invariant Feature Transform(SIFT) 알고리즘을 이용하여 추출한 영상쌍에 참과 거짓의 레이블(label)을 할당한 정합쌍과 오정합쌍의 집합으로 구축되도록 하였다. 구축된 학습자료로부터 정합쌍 추출을 위해 제안된 Siamese convolutional neuralnetwork (SCNN) 모델은 동일한 두 개의 합성곱 신경망 구조에 한 쌍을 이루는 두 영상을 하나씩 통과시킴으로써 학습을 진행하고 추출된 특징의 비교를 통해 유사도를 판별한다. 본 연구를 통해 고해상도 위성영상 데이터베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능하며 이종센서 영상을 적절히 조합하여 영상매칭과정의 효율을 높일 수 있음을 확인하였다. 다중센서 고해상도 위성영상을 활용한 딥러닝 기반 영상매칭 기법은 안정적인 성능을 바탕으로 기존 수작업 기반의 특징 추출 방법을 대체하고, 나아가 통합적인 딥러닝 기반영상정합 프레임워크로 발전될 것으로 기대한다.

영어초록

Image matching is a crucial preprocessing step for effective utilization of multi-temporaland multi-sensor very high resolution (VHR) satellite images. Deep learning (DL) method which isattracting widespread interest has proven to be an efficient approach to measure the similarity betweenimage pairs in quick and accurate manner by extracting complex and detailed features from satelliteimages. However, Image matching of VHR satellite images remains challenging due to limitations ofDL models in which the results are depending on the quantity and quality of training dataset, as well asthe difficulty of creating training dataset with VHR satellite images. Therefore, this study examines thefeasibility of DL-based method in matching pair extraction which is the most time-consuming processduring image registration. This paper also aims to analyze factors that affect the accuracy based on theconfiguration of training dataset, when developing training dataset from existing multi-sensor VHRimage database with bias for DL-based image matching. For this purpose, the generated training datasetwere composed of correct matching pairs and incorrect matching pairs by assigning true and false labelsto image pairs extracted using a grid-based Scale Invariant Feature Transform (SIFT) algorithm for atotal of 12 multi-temporal and multi-sensor VHR images. The Siamese convolutional neural network(SCNN), proposed for matching pair extraction on constructed training dataset, proceeds with modellearning and measures similarities by passing two images in parallel to the two identical convolutionalneural network structures. The results from this study confirm that data acquired from VHR satelliteimage database can be used as DL training dataset and indicate the potential to improve efficiency of the matching process by appropriate configuration of multi-sensor images. DL-based image matchingtechniques using multi-sensor VHR satellite images are expected to replace existing manual-based featureextraction methods based on its stable performance, thus further develop into an integrated DL-basedimage registration framework.

참고자료

· 없음