깊은 신경망 기반 영상 화질 개선 모델을 활용한 저품질 영상에서의 객체 검출 성능 향상 (Enhancing Object Detection in Low Quality Images Using Deep Neural Network Based Super-Resolution)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 45권 / 12호 / 2169 ~ 2176페이지
· 저자명 : 김대희, 유영준, 노송, 이재구

초록

객체 검출 기술은 입력 영상의 낮은 화질 및 해상도 등의 한계에 부딪혀서, 현실에서는 성능이 저하될 수 있다.
본 논문은 현실에서의 객체 검출 기술 성능을 실질적으로 향상시키고자, 깊은 신경망 기반 초해상도(Super-Resolution) 모델을 활용하는 방법을 제안한다. 우리는 실험으로 얼굴 검출과 일반적 객체 검출, 두 조건모두에 대해 검증하였으며, 현실의 영상 환경을 시뮬레이션하기 위해 복합적인 영상 열화 방법을 사용하였다. 실험 과정으로, 먼저 전통적인 영상 크기 변환 방법인 쌍입방 보간법(Bicubic Interpolation)과 가우시안 노이즈, 가우시안 블러 등을 복합적으로 활용하여 영상을 열화 및 다운샘플링(Down-sampling)한 후, 쌍입방 보간법과 깊은 신경망 기반 최신 초해상도 모델인 EDSR(Enhanced Deep Residual Networks for Single Image Super-Resolution) 을 사용하여 각각 영상을 복원한다. 이렇게 생성한 영상을 얼굴 검출용 깊은 신경망 모델로 RetinaFace, 일반적객체 검출용 깊은 신경망 모델로는 EfficientDet-D7을 활용하여 평균 정밀도(Average Precision)를 비교 및 분석하였다. 이러한 과정을 Widerface와 COCO 데이터 집합을 기반으로 정량적 실험을 수행하였고, 여러 열화 방법 조건에서 객체 크기가 작은 경우, 얼굴 검출은 최대 54.8%, 일반적 객체 검출은 370.0%만큼 성능이 향상되는 것을검증하였다. 따라서 깊은 신경망 기반 초해상도 모델을 활용하여, 현실에서 객체 검출 기술의 실질적 성능을 향상시킬 수 있을 것으로 판단된다.

영어초록

Obtaining potential gains from object detection in practical systems hinges on sufficient levels of image resolution. In this paper, a two-step guideline using deep neural network (DNN)-based super-resolution (SR) model for object detection is presented under the assumption that the DNN model takes multiple low-resolution images captured form the same scene. In the first step, enhanced deep residual networks for single image super-resolution (EDSR) is exploited to recover an intermediate high-resolution image. The second step is to perform face and object detection based on RetinaFace and EfficientDet-D7. By capturing different training and test image formats, the resulting design employs a transfer learning method with pre-trained EDSR to further leverage detection performance. We adopt three degradation models for performance analysis and provide a practical guideline for DNN-based SR reconstruction. Numerical results show the effectiveness of the proposed method in improving small-sized object detection performance.

참고자료

· 없음