라이다 깊이 맵과 이미지를 사용한 자기 조직화 지도 기반의 고밀도 깊이 맵 생성 방법 (Dense-Depth Map Estimation with LiDAR Depth Map and Optical Images based on Self-Organizing Map)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 26권 / 3호 / 283 ~ 295페이지
· 저자명 : 최한솔, 이종석, 심동규

초록

본 논문은 자기 조직화 지도 기법을 기반으로 라이다 기반으로 생성된 깊이 맵과 컬러 이미지의 정보를 기반으로 고밀도 깊이 맵을 생성하는 방법을 제안한다. 제안하는 깊이 맵 업샘플링 방법은 라이다에서 취득되지 않은 공간에 대한 초기 깊이 예측 단계와 초기 깊이 필터링 단계로 구성된다. 초기 깊이 예측 단계에서는 두 장의 컬러 이미지에 대해 스테레오 매칭을 수행하여 초기 깊이 값을 예측한다. 깊이 맵 필터링 단계에서는 예측된 초기 깊이 값의 오차를 감소시키고자 예측 깊이 픽셀에 대하여 주변의 실측 깊이 값을 이용하여 자기 조직화 지도 기법을 수행한다. 자기 조직화 기법 수행 시 예측 깊이 픽셀과 실측 깊이 픽셀의 거리와, 각 픽셀에 대응되는 컬러 값의 차이에 따라 가중치를 결정한다. 본 논문에서는 성능 비교를 위하여 깊이 맵 업샘플링 방법으로 널리 사용되고 있는 양방향 필터 및 k-최근접 이웃 알고리즘과 비교를 진행하였다. 제안하는 방법은 양방향 필터 방법 및 k-최근접 이웃 알고리즘 대비 MAE 관점에서 각각 약 6.4%, 8.6%이 감소하였고 RMSE 관점에서 각각 약 10.8%, 14.3%이 감소하였다.

영어초록

This paper proposes a method for generating dense depth map using information of color images and depth map generated based on lidar based on self-organizing map. The proposed depth map upsampling method consists of an initial depth prediction step for an area that has not been acquired from LiDAR and an initial depth filtering step. In the initial depth prediction step, stereo matching is performed on two color images to predict an initial depth value. In the depth map filtering step, in order to reduce the error of the predicted initial depth value, a self-organizing map technique is performed on the predicted depth pixel by using the measured depth pixel around the predicted depth pixel. In the process of self-organization map, a weight is determined according to a difference between a distance between a predicted depth pixel and an measured depth pixel and a color value corresponding to each pixel. In this paper, we compared the proposed method with the bilateral filter and k-nearest neighbor widely used as a depth map upsampling method for performance comparison. Compared to the bilateral filter and the k-nearest neighbor, the proposed method reduced by about 6.4% and 8.6% in terms of MAE, and about 10.8% and 14.3% in terms of RMSE.

참고자료

· 없음