딥러닝기반 실내와 실외 환경에서의 광원 추출 (Deep Learning-Based Lighting Estimation for Indoor and Outdoor)

서지정보

· 발행기관 : (사)한국컴퓨터그래픽스학회
· 수록지 정보 : 한국컴퓨터그래픽스학회 2021 학술대회 / 27권 / 3호 / 31 ~ 42페이지
· 저자명 : 이지원, 서광균, 이하늬, 유정은, 노준용

초록

본 연구에서는 딥러닝을 기반으로 하여 실내와 실외 이미지 모두에서 알맞은 광원을 추출하는 방법론을 소개한다. 네트워크는 단일 LDR 이미지로부터 실내 혹은 실외 배경에 맞는 광원을 low dynamic range (LDR) 환경 맵으로 추출하는 Cropto-PanoLDR 네트워크와 추출된 LDR 환경 맵을 빛의 정보를 담은 high dynamic range (HDR) 환경 맵으로 생성하는 LDRto-HDR 네트워크 두 단계로 구성된다. 이와 같은 과정을 통해 최종적으로 생성된 HDR 환경 맵은 주어진 이미지에서 가상객체를 렌더링할 때 적용되어 가상 객체를 조명하는 빛의 방향과 주변광 등을 확인함으로써 자연스러운 렌더링을 가능하게하는지 검증한다. 본 연구에서 제안한 방법론의 우수성은 실내를 배경으로 한 이미지로만 구성한 데이터로 학습한 결과와실외를 배경으로 한 이미지로만 학습한 결과 등과 비교하여 검증하였다. 또한, 실내와 실외를 구분하는 역할을 수행하는 손실함수가 학습 결과에 미치는 영향을 실험, 검증하였다. 최종적으로 본 연구에서 생성된 환경 맵을 기존의 연구 결과와 비교실험하는 사용자 테스트를 진행하였고 더 좋은 결과를 확인할 수 있었다.

영어초록

We propose a deep learning-based method that can estimate an appropriate lighting of both indoor and outdoor images. The method consists of two networks: Crop-to-PanoLDR network and LDR-to-HDR network. The Crop-to-PanoLDR network predicts a low dynamic range (LDR) environment map from a single partially observed normal field of view image, and the LDR-toHDR network transforms the predicted LDR image into a high dynamic range (HDR) environment map which includes the high intensity light information. The HDR environment map generated through this process is applied when rendering virtual objects in the given image. The direction of the estimated light along with ambient light illuminating the virtual object is examined to verify the effectiveness of the proposed method. For this, the results from our method are compared with those from the methods that consider either indoor images or outdoor images only. In addition, the effect of the loss function, which plays the role of classifying images into indoor or outdoor was tested and verified. Finally, a user test was conducted to compare the quality of the environment map created in this study with those created by existing research.

참고자료

· 없음