합성 데이터를 사용한 딥러닝 기반 다중모달 이미지 정합 (Deep Learning-based Multi-Modal Image Registration Using Synthetic Data)

서지정보

· 발행기관 : 한국정보통신학회
· 수록지 정보 : 한국정보통신학회논문지 / 28권 / 1호 / 11 ~ 18페이지
· 저자명 : 한재웅, 권경범, 정신영, 이현재, 구형일

초록

현실 세계의 정보는 다양한 모달리티로 존재한다. 이를 통합하기 위해 컴퓨터 비전 및 딥러닝 분야에서 다중모달이미지 정합 연구가 진행되어왔다. 그러나 SIFT, ORB 등 컴퓨터 비전 알고리즘은 EO와 IR의 도메인 차이로 인해 좋은 결과가 도출되지 않는 문제가 있다. 또 딥러닝 기반 특징점 추출 모델에서는 데이터 취득의 어려움으로 기존 연구가 매우 제한된 상황이다. 따라서 본 논문에서는 이러한 문제들을 해결하기 위해 IR 이미지와 유사한 합성 이미지를EO 이미지로부터 생성하였고 이를 통해 딥러닝 기반 특징점 추출 모델인 R2D2에 다중모달리티를 학습하였다. 다양한 환경에서 EO와 IR 이미지 쌍을 취득하여 실험한 결과 다중모달에서 R2D2의 이미지 정합 성공률은 단일모달에서ORB의 정합 성공률과 비교하여 4.6% 정도의 차이만 보여 정합이 성공적으로 이루어짐을 확인할 수 있었다. 이를 통해 합성 데이터를 활용하여 R2D2에 다중모달리티를 학습이 가능함을 확인하였다.

영어초록

Real-world information exists in various modalities. To integrate this, research on multi-modal image matching hasbeen conducted in the field of computer vision and deep learning. However, computer vision algorithms like SIFT andORB face challenges in producing good results due to domain differences between EO and IR images. There's also alimitation in deep learning models due to data acquisition challenges. This paper addresses these issues by generatingsynthetic images resembling IR images from EO images and trained the deep learning-based feature point extractionmodel R2D2 in multi-modality. Experiments with EO and IR image pairs in various environments showed that the imagematching success rate of R2D2 in multi-modal scenarios is only about 4.6% different compared to ORB in singlemodality, demonstrating successful matching. This confirms the potential of using synthetic data for multi-modal trainingin R2D2.

참고자료

· 없음