무감독 세그멘테이션을 이용한 열영상의 학습기반 주간영상 모의 개선 (Learning-Based Daytime Image Simulation Improvement of Thermal Images Using Unsupervised Segmentation)

서지정보

· 발행기관 : 대한토목학회
· 수록지 정보 : 대한토목학회논문집(국문) / 45권 / 3호 / 403 ~ 411페이지
· 저자명 : 원태연, 조수민, 정지헌, 장명도, 김용민

초록

야간영상은 재난상황과 감시 작전 등 다양한 분야에서 중요한 영상정보로 활용되었고, 야간영상의 선명도와 가시성 향상을 위해 카메라, 센서와 영상처리 연구가 활발히 이루어지고 있다. 본 연구에서는 다양한 특성을 가진 센서로 촬영한 야간영상에 대하여 영상 내 객체별 특징영역을 구분하여 학습시켜 주간영상으로 모의하는 방법을 제안하였다. 주간과 야간영상 간의 온도 차이가 피복별로 다른 점을 고려해 학습방법을 제안한 것으로써, CNN 기반 무감독 세그멘테이션 기법과 UNSB 모델을 적용하였다. 무감독 세그멘테이션 기법을 적용한 실험환경은, 특성 유사성, 공간 연속성, 클러스터 수 제한과 같은 세 가지 제약 조건을 만족하도록 하였다. 딥러닝 학습 자료로 열적외 영상, 라이다 강도 영상, 라이다 거리 영상 그리고 피복별로 구별될 수 있는 세그멘테이션 영상을 정합하였으며, 해당 영상과 광학영상을 UNSB 모델 기반으로 학습하여 주간 광학영상을 모의하였다. 실험결과, 120 에포크 학습 기준으로 SSIM 0.593, PSNR 14.34, R² 0.218을 나타내었다. 시각적으로 유사한 형상이 생성되고, 객체별 세부 요소들에 대하여 원영상과 유사한 색상을 구현하여, 객체의 특징이 명확한 경우 변환 결과가 우수함을 입증하였다.

영어초록

Nightyime image serves as critical visual information in a wide range of applications, including disaster response and surveillance operations. To improve the clarity and visibility of such imagery, extensive research has been conducted on imaging devices, sensor technologies, and image processing techniques. This study proposes a method to simulate daytime images from nighttime image acquired by various sensors by learning object-specific feature regions within the image. Considering that temperature differences between daytime and nighttime images vary depending on the object, a CNN-based unsupervised segmentation technique, and the UNSB (Unpaired Neural Schrödinger Bridge) model were applied. The experimental setting for the unsupervised segmentation technique was designed to satisfy three constraints: feature similarity, spatial continuity, and a limited number of clusters. Training data were composed by compositing thermal infrared images, LiDAR intensity images, LiDAR range images, and segmentation images, which were then learned in conjunction with corresponding optical images using the UNSB model to simulate daytime optical image. The experimental results showed SSIM 0.593, PSNR 14.34, and R² 0.218 based on 120 epochs of training. For each object detail, the colors were similar to the original image, proving that the conversion result is excellent when the object features are clear.

참고자료

· 없음