적외선 영상을 위한 딥러닝 기반 실시간 동영상 안정화 (Deep Learning-based Real-time Video Stabilization for Infrared Videos)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 2호 / 77 ~ 83페이지
· 저자명 : 윤성준, 심규진, 고강욱, 하남구, 이민석, 장현성, 권구용, 박가영, 김창익

초록

이미 촬영된 동영상의 품질을 카메라의 물리적 한계를 극복하여 향상하는 연구가 활발하게 진행되어왔다. 특히 동영상 안정화는, 외부적인 요인에 의해 흔들리는 카메라로부터 획득한 불안정한 동영상을 흔들리지 않는 동영상으로 변환하는 기술이며, 고품질의 동영상을 획득하기 위한 필수적인 연구 분야이다. 본 논문에서는 가시광선 정보가 부족한 저조도 환경에서 중요하게 사용되고 있는 적외선 동영상이, 차량 혹은 소형 비행 물체 등에서 촬영되어 물리적인 작은 흔들림이 발생하였을 때 이를 실시간으로 안정화할 수 있는 두 가지 딥러닝 기반 모델을 제안한다. 제안하는 모델은 불안정한 동영상과 정답 안정한 동영상 학습 데이터 페어가 없는 환경에서 학습할 수 있는 자기 지도 학습 모델이다. 우리가 제안하는 안정화 모델 두 가지는, 적외선 동영상(해상도: 640x512)에 대하여 실시간 프레임 처리율(>30 fps)과 함께 기존 딥러닝 기반 온라인 안정화 모델보다 더 좋은 안정화 정도를 보이는 것을 수치적 평가 및 결과 영상을 통해 확인하였다.

영어초록

A wide range of research topics has been studied to overcome the physical limitations of cameras to enhance video quality. Among those topics, video stabilization aims to generate stable videos by removing annoying camera shakes from videos, and is an essential research field in obtaining high-quality videos. In this paper, we propose two deep learning-based video stabilization models with real-time performance that reduce small physical camera shakes from unstable infrared videos (e.g., videos taken from vehicles or small flying objects), which are widely used in low-light conditions. Our proposed models are trained in a self-supervised way, with no paired datasets consisting of unstable videos and their corresponding ground truth stable videos. The proposed stabilization models outperform the existing deep learning-based online stabilization model quantitatively and qualitatively, on infrared videos of 640x512 resolution with real-time (>30 fps) performance.

참고자료

· 없음