실시간 영상 분할을 위한 TBNs 구조 기반 이중 방향 다중센서 융합 기법 (TBNs-Based Bidirectional Fusion Method For Real-Time Multi-Modal Segmentation)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 50권 / 1호 / 22 ~ 30페이지
· 저자명 : 신윤식, 손용호, 박정희, 이채현, 김양곤, 최준원

초록

자율주행 및 로보틱스 분야에서 주변 환경과 객체의 형태를 인지하는 영상 분할 기술은 필수적인 요소로 자리잡고 있다. 카메라를 사용한 영상 분할 기술은 다양한 색 정보를 통해 영상 분할을 수행하지만 환경에 대한 공간적 정보를 활용하지 못하는 한계점이 존재한다. 이를 위해 깊이 영상 또는 라이다 등의 센서 데이터를 융합하여보다 신뢰성 높은 성능을 달성하기 위한 연구가 진행되었다. 하지만 대부분의 연구는 높은 성능 달성을 위해 복잡한 구조의 융합 기법을 사용하며 제한된 실시간 동작 환경에서 구현이 불가능한 문제점을 내포한다. 본 연구는 카메라 영상과 깊이 영상의 특성을 활용하여 실시간 동작이 가능한 효율적 융합 기법을 제안한다. 제안하는 이중 방향 융합 모델은 카메라 모델보다 1.27 mIoU 성능 향상을 달성함과 동시에 16.32 FPS 동작속도를 보이며 실시간동작이 가능함을 보였다.

영어초록

In the field of autonomous driving and robotics, image segmentation that perceives the shape of the surrounding environment and objects has become an essential part. While image segmentation using cameras performs segmentation through various color information, it has limitations in utilizing spatial information of the environment. To address this, research has been conducted to achieve higher reliability by fusing sensor data such as depth images or LiDAR. However, most studies involve complex fusion techniques to achieve high performance, which inherently poses problems that are not feasible to implement in limited real-time operational environments. This study proposes an efficient fusion technique that leverages the characteristics of camera and depth images to enable real-time operation. The proposed bidirectional fusion model achieves a performance improvement of 1.27 mIoU over the camera model while showing an operating speed of 16.32 FPS, making real-time operation possible.

참고자료

· 없음