C3DSG: 실내 환경 포인트 클라우드를 이용한 3차원 장면 그래프 생성 모델 (C3DSG: A 3D Scene Graph Generation Model Using Point Clouds of Indoor Environment)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 50권 / 9호 / 758 ~ 770페이지
· 저자명 : 백호준, 김인철

초록

포인트 클라우드로부터 3차원 장면 그래프를 생성하는 효과적인 심층 신경망 모델을 설계하기 위해서는 3가지 중요한 도전과제들을 해결해야 한다. 첫 번째 도전과제는 3차원 포인트 클라우드에 대한 효과적인 기하학적 특징 추출 방식을 결정하는 일이다. 두 번째 도전과제는 물체들 간의 3차원 공간 관계를 효과적으로 파악하기 위해서는 어떤 비-기하학적 특징들을 추가적으로 이용할 것인가를 결정하는 일이다. 세 번째 도전과제는 효과적인 공간적 맥락 추론 방식을 결정하는 일이다. 본 논문에서는 이와 같은 도전과제들에 대응하기 위해, 실내 환경 포인트 클라우드로부터 3차원 장면 그래프 예측을 위한 새로운 심층 신경망 모델을 제안한다. 제안 모델은 Point Transformer를 이용해 추출하는 3차원 포인트 클라우드의 기하학적 특징뿐만 아니라, 물체들 간의 3차원 공간 관계 예측에 도움을 줄 수 있는 언어적 특징과 상대적 비교 특징 등 다양한 비-기하학적 특징들도 함께 활용한다. 또한 제안 모델은 물체들 간의 공간적 맥락정보를 효과적으로 이끌어내기 위해, 물체 노드들과 이들을 연결하는 간선들 모두에 주의집중을 적용할 수 있는 새로운 NE-GAT 그래프 신경망을 이용한다. 본 논문에서는 3DSSG 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델의 효과와 우수성을 입증한다.

영어초록

To design an effective deep neural network model to generate 3D scene graphs from point clouds, the following three challenging issues need to be resolved: 1) to decide how to extract effective geometric features from point clouds, 2) to determine what non-geometric features are used complementarily for recognizing 3D spatial relationships between two objects, and 3) to decide which spatial reasoning mechanism is used. To address these challenging issues, we proposed a novel deep neural network model for generating 3D scene graphs from point clouds of indoor environments. The proposed model uses both geometric features of 3D point cloud extracted using Point Transformer and various non-geometric features such as linguistic features and relative comparison features that can help predict the 3D spatial relationship between objects. In addition, the proposed model uses a new NE-GAT graph neural network module that can apply attention to both object nodes and edges connecting them to effectively derive spatial context between objects. Conducting a variety of experiments using 3DSSG benchmark dataset, effectiveness and superiority of the proposed mode were proven.

참고자료

· 없음