TwinAMFNet: 3차원 시맨틱 세그멘테이션을 위한 Twin 어텐션 기반 멀티모달 퓨전 네트워크 (TwinAMFNet : Twin Attention-based Multi-modal Fusion Network for 3D Semantic Segmentation)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 50권 / 9호 / 784 ~ 794페이지
· 저자명 : 윤재근, 전지연, 송광호

초록

최근 자율주행에서 오인식으로 인한 충돌 사고가 증가함에 따라 멀티 모달 센서를 활용한 센서 퓨전 기반의 3차원 시맨틱 세그멘테이션에 관한 관심이 늘어나고 있다. 이에 따라 본 연구에서는 카메라와 LiDAR의 센서 퓨전을 통해 새로운 3차원 시맨틱 세그멘테이션 신경망인 TwinAMFNet을 소개한다. 제안하는 신경망은 RGB 영상과 2차원의 좌표 평면에 사영한 점 군 사영 영상을 처리하는 Twin 신경망을 포함하며 인코더 및 디코더에서의 특징 단계 퓨전을 위한 어텐션 기반 퓨전 모듈을 통해 더욱 확장된 객체 및 경계 구분에 대한 표현력 개선을 보여준다. 결과적으로 제안한 신경망은 mIoU를 기준으로 3차원 시맨틱 세그멘테이션에 약 68%의 성능을 기록하였으며 기존 연구들에 비해 약 4.5% 이상 향상된 성능을 보였다.

영어초록

Recently, with the increase in the number of accidents due to misrecognition in autonomous driving, interest in 3D semantic segmentation based on sensor fusion using multi-modal sensors has increased. Accordingly, this study introduces TwinAMFNet, a novel 3D semantic segmentation neural network through sensor fusion of RGB cameras and LiDAR. The proposed neural network includes a twin neural network that processes RGB images and point cloud projection images projected on a 2D coordinate plane and through an attention-based fusion module for feature step fusion in the encoder and decoder. The proposed method shows improvement of further extended object and boundary classification. As a result, the proposed neural network recorded approximately 68% performance in 3D semantic segmentation based on mIoU, and showed approximately 4.5% improved performance compared to the ones reported in the existing studies.

참고자료

· 없음