구조행렬을 이용한 예제기반 영상 인페인팅 (An Exemplar-based Image Inpainting Method using Structure Matrix)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 : 소프트웨어 및 응용 / 39권 / 7호 / 583 ~ 592페이지
· 저자명 : 김백섭

초록

최근 영상에서 훼손된 부분을 복원하거나 자막이 포함되어 있는 영상에서 자막을 제거하거나 사진에서 특정 물체를 제거하기 위해 예제기반 영상 인페인팅이 널리 이용되고 있다. 예제기반 인페인팅 알고리즘은 크게 나누어 손상된 영역에서 어떤 부분부터 복원할 것인지를 결정하는 패치 우선순위 결정 문제와 결정된 패치를 알고 있는 영역에서 어떤 패치로 대치할 것인지를 결정하는 패치 선택 문제 등 두가지 부분으로 구성되어 있다. 기존의 예제기반 인페인팅 방법은 이 두가지 문제를 모두 영상에서 화소의 명암값을 이용해서 해결하였다. 패치 우선순위 결정문제는 화소의 그래디언트를 사용하고, 패치 선택 문제는 두 패치 사이의 오차합이 주로 사용되고 있다.
그러나, 인페인팅은 복원된 영상이 사람이 보기에 자연스러워야 하는데, 사람은 화소의 명암값보다는 에지, 코너, 점, 질감 등 영역의 속성에 더 민감하다. 그러므로 화소의 명암값 보다는 영역의 속성을 이용하는 인페인팅 방법이 더 자연스러운 결과를 보일 수 있을 것이다.
본 논문에서는 영상의 속성을 표현하기 위해 구조행렬을 사용하여 인페인팅 하는 방법을 제안하였다. 제안된 방법에서는 구조행렬에서 지역의 일관성을 구해 이를 복원할 패치의 우선순위를 결정하는데 사용하였다. 또한 복원할 패치와 가장 유사한 패치를 구하는 패치 선택을 위해 구조행렬에서 두 화소 사이의 방향, 일관성을 구하고 여기에 명암값과 거리 가중치등 네가지 척도의 가중치 합을 사용하였다.
다양한 영상에 대해 실험한 결과 제안된 방법이 기존의 Criminisi가 제안한 예제기반 인페인팅 방법에 비해 훨씬 더 자연스럽게 인페인팅 되는 것을 확인하였다.

영어초록

The exemplar-based image inpainting technique is to fill missing region in an image, and it is widely used for recovering the scratches, removing the textures and deleting unwanted objects. The exemplar-based inpainting algorithm is composed of two procedures : selecting a patch to be filled from the missing region, and inpainting the patch using image information in the known region. In the patch selection procedure, patch priority should be defined to encourage the filling-in of patches on the structure with higher priority. In the patch inpainting procedure, similarity between the selected patch and a patch in the known region should be defined to determined which patch is to filled-in among those in the known region. In the conventional exemplar-based inpainting algorithm, gradient and sum of absolute difference are used for the priority and the similarity measure, respectively. These measures are based on the brightness of the pixels in the image.
This paper is to propose a method which uses the structural information rather than the brightness levels for both the priority and similarity measure in exemplar-based inpainting. This method helps retaining structural information, and thus the inpainted result looks more natural than the conventional way. Structure matrix has been used for obtaining the structural information.
Experiments show that the proposed method produce more natural image than that of the conventional exemplar-based inpainting proposed by Criminisi.

참고자료

· 없음