단안 깊이 추정을 통한 희소 입력에서의 방사장 증강 (Boosting Few-shot Radiance Fields with Monocular Depth Estimation)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 61권 / 11호 / 99 ~ 104페이지
· 저자명 : 박성훈, 조은지, 정호민, 안종식, 김승룡

초록

신경 방사장(NeRF)은 새로운 뷰 합성과 3D 재구성에서 뛰어난 성능을 보이지만, 알려진 뷰포인트가 적을 때 성능이 크게 저하됩니다. 기존 방법들은 외부 프라이어를 사용해 이 문제를 해결하려 했지만, 특정 장면이나 데이터셋에만 효과적이었습니다. 단안 깊이 추정(MDE) 네트워크를 사용하면 이 문제를 해결할 수 있지만, MDE는 다양한 모호성 문제를 야기합니다. 이를 해결하기 위해 우리는 NeRF와 MDE를 결합해 온라인 보완 학습을 통해 소수의 실제 이미지만으로 강력한 NeRF 재구성을 달성하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 MDE 네트워크의 기하 프라이어를 NeRF에 적용하여 일관성과 강건성을 높이며, 패치 단위의 스케일-시프트 피팅 및 기하 전수를 통해 MDE 깊이를 NeRF 기하와 정밀하게 맞춥니다. 실험 결과, 이 프레임워크는 실내외 실제 데이터셋에서 일관되고 신뢰할 수 있는 최첨단 성능을 보여줍니다.

영어초록

Neural radiance field (NeRF) excels in novel view synthesis and 3D reconstruction but struggles when known viewpoints are few. Existing solutions using external priors are limited to specific scenes or datasets. Using monocular depth estimation (MDE) networks pretrained on large-scale RGB-D datasets can help, but MDE introduces ambiguity issues. We propose a novel framework, DaRF, which combines NeRF and MDE through online complementary training, enabling robust NeRF reconstruction from a few real-world images. Our framework applies MDE's strong geometry prior to NeRF at both seen and unseen viewpoints, enhancing robustness and coherence. We address MDE’s ambiguity through patch-wise scale-shift fitting and geometry distillation, aligning MDE depths with NeRF geometry. Experiments show our framework achieves state-of-the-art results, performing consistently well on indoor and outdoor real-world datasets.

참고자료

· 없음