그래픽 가속을 이용한 비디오의 실시간 스타일화기법에 관한 연구 (A Study on Real-time Video Stylization Techniqueusing Graphic Acceleration)

서지정보

· 발행기관 : 한국색채학회
· 수록지 정보 : 한국색채학회논문집 / 24권 / 4호 / 41 ~ 50페이지
· 저자명 : 이지형, 황치정

초록

비디오 관련 기술의 발달과 디지털 비디오 영상의 보급으로, 컴퓨터를 이용하여 디지털 비디오에 다양한 특수효과를 적용하는 요구가 증가하였다. 기존의 이미지 변환 효과와 달리, 비사실적 렌더링 기술(NPR, non-photorealistic rendering)은 비디오 영상에 적용하가기가 쉽지 않다. 카툰이나 일러스트레이션 같은 스타일화를 비디오에 적용하면 느린 처리 속도, 반자동화로 인한 수작업, 결과 영상의 튀는 현상 등 단점들로 인해 실제 영상 제작 현장에서 사용하기 곤란하였다.
본 연구에서는 이러한 문제들을 극복하기 위해 자동으로 이미지 또는 비디오의 실시간 스타일화를 수행하는 2차원 이미지 기반의 비사실적 렌더링 기법을 제안한다. 비디오 영상에 비사실적 렌더링 효과를 적용하기 위해서 비디오의 각 프레임 이미지를 추출하고, 영상분석을 통해 얻은 쉐이딩 톤(shading tone)과 추상화(abstraction) 결과를 기반으로 순차적으로 변환한다. 변환된 각 프레임 이미지의 결과들을 모아서 먼저 흑백 일러스트레이션 효과가 적용된 스타일화된 비디오로 만든다. 흑백 일러스트레이션은 원 영상의 특징들을 잘 보여주지만, 영상의 의미를 잃어버리므로 컬러 일러스트레이션으로 확장하였다. 또한 내재적인 표현(implicit representation)을 갖도록 설계된 간단한 비사실적 렌더링 구조 덕분에 시간적 일관성(temporal coherence)을 지원한다. 마지막으로 실시간 처리를 위해 NVidia 사의 GPU를 이용하여 가속이 가능하게 되어, 실시간으로 동작하도록 구현되었다.
제안하는 비사실적 렌더링으로 만들어진 스타일화 기법은 기존 영상과 차별화된 다양한 효과를 제공할 수 있고, 영상의 특징을 강조함으로써 필요한 정보를 더 효과적으로 전달하는 장점이 있다. 또한 자동으로 비디오 영상을 실시간에 스타일화가 가능하여, 방송, CF, 영화, 게임 등 디지털 영상 제작 현장에서 핵심 기술로 활용될 수 있다.

영어초록

According to advancements in digital video technology, there are lots of needs for various special effects of videos by computer. The conventional image-transform effects could be applied to video streams, but non-photorealistic rendering effects are not easy to apply. In professional video productions, it is hard to use the non-photorealistic rendering (NPR) video effects like cartoon or illustration, because of problems which are low response time in processing and labor work, semi-automation using labor, jerkiness in video.
To solve the above problems, we present a two-dimensional image-based NPR system that automatically delivers stylization of images and videos. In order to apply NPR effects to a video, we transform each frame image sequentially in the video based on shading tone and abstraction from the corresponding frame. When the above process is ended, results of the frame images are integrated as a black and white style video with our illustration effects. Although black and white illustration preserves the salient features of video, it couldn't show the meanings of video without color. Therefore, we try to make the color illustration. Moreover, because of simple NPR structures, our system can support the temporal coherence. As a result, our system is designed to have an implicit representation, and implemented to achieve real-time performances using the GPU hardware with NVIDIA’s CUDA.
Our NPR stylization has 2 advantages: Outstanding video effects, and effective message representation by the emphasis of salient features in images. As our approach is fully automatic and real-time processing, it will be the essential technology for the digital contents production fields like broadcasting, commercial, movie and game.

참고자료

· 없음