다중 스케일 확산 모델을 이용한 영상 흐려짐 복원 방법 (Image Deblurring Based on Multi-Scale Diffusion Models)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 28권 / 4호 / 382 ~ 390페이지
· 저자명 : 윤천희, 김원준

초록

최근 컴퓨터 비전 분야에서 확산 모델(Diffusion Model)은 다양한 작업에 적용되어 뛰어난 성능을 보여주고 있다. 확산 모델은 마르코프 연쇄(Markov Chain)의 성질을 사용한 확률 기반의 학습 방법으로 안정적인 성능을 보이나, 확산 모델의 역방향 과정에서 널리 사용되는 U자형 신경망 구조(U-Net)는 정밀한 잡음 예측을 위해 많은 수의 계층과 채널을 사용한다. 본 논문에서는 이러한 문제점을 극복하기 위해 적은 수의 계층과 채널을 사용하는 다중 스케일 입출력 기반 신경망을 활용한 확산 모델을 제안하고 이를 영상 흐려짐 복원 작업에 적용한다. 제안하는 방법은 다중 스케일의 입력을 통해 잠재 특징 간 복합 관계를 학습하고, 다중 스케일의 출력을 사용하여 학습한 확산 모델을 통해 잡음을 예측한다. 실험 결과를 통해 제안하는 방법이 기존 신경망 기반 방법과 비교하여 적은 연산량에도 성능을 효과적으로 향상시킬 수 있음을 보인다.

영어초록

Recently, in the field of computer vision, diffusion models have been applied to various tasks and has shown promising performance. Diffusion models perform reliably as probability-based learning methods using the properties of Markov Chain, however U-Net, which is widely used in the reverse process of diffusion models, uses a large number of layers and channels for precise noise prediction. To overcome this problem, in this paper, we propose diffusion models using a multi-scale input-output based neural network using a small number of layers and channels and apply it to image deblurring. The proposed method learns complex relationships between latent features through multi-scale inputs and predicts noise through diffusion models learned using multi-scale outputs. Experimental results show that the proposed method can effectively improve performance even with less computation compared to existing neural network based methods.

참고자료

· 없음