토마토 수확 로봇을 위한 3D 위치 검출 임베디드 시스템 구현 (Implementation of 3D Location Detection Embedded System for Tomato Harvesting Robots)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 47권 / 11호 / 2007 ~ 2019페이지
· 저자명 : 이기범, 김용현, 조병효, 김원경, 김만중, 홍영기, 김경철

초록

최근 지속적인 농업 인구의 감소와 고령화에 따른 노동력 부족 문제를 해소하기 위하여 인공지능 기반의 농업자동화 기술에 관한 연구가 많은 관심을 받고 있다. 본 논문에서는 대표적인 시설작물인 토마토의 자동화 수확 로봇 개발을 위하여 딥러닝 기반의 3차원 위치 검출 임베디드 시스템을 구현하고, 실제 환경에서 시스템의 적용 가능성 확인을 목적으로 한다. 토마토의 3차원 위치 검출 시스템은 저렴한 비용으로 구축이 가능한 저전력, 소형 임베디드 장비인 NVIDIA Jetson Xavier NX와 이미지의 3차원 정보를 얻기 위한 스테레오 타입의 ZED2 카메라로구성된다. 제안한 시스템은 최신 YOLOv5 객체 검출 모델을 이용하여 토마토 이미지를 학습하고, 학습된 모델을통해 검출된 토마토의 2차원 좌표를 3차원 좌표로 변환하여 토마토의 3차원 위치를 검출한다. 또한, 학습된 모델의 성능향상을 위하여 추론 속도를 수배에서 수십 배까지 향상시킬 수 있는 모델 최적화 엔진인 TensorRT를 적용하여 모델의 최적화를 수행한다. 구현한 시스템의 성능은 TensorRT를 적용한 최적화 모델의 평균 정밀도와 이미지 추론 시간에 대하여 비교하였으며, 성능개선을 확인하였다.

영어초록

In recent years, the research on artificial intelligence-based agricultural automation technology has received a lot of attention to solve the problem of labor shortage due to the continuous decline of the agricultural population and aging. In this paper, we implement a deep learning-based three-dimensional location detection embedded system for the development of automated harvesting robots for tomatoes and aim to verify the applicability of the system in a real environment. The three-dimensional positioning system consists of NVIDIA Jetson Xavier NX, a low-power, small and low cost, and a stereo-type ZED2 camera to obtain three-dimensional information on images. The proposed system learns tomato images using the latest YOLOv5 object detection model and converts the two-dimensional coordinates of the detected tomatoes into three-dimensional coordinates through the learned model to detect the three-dimensional position of the tomatoes. To improve the performance of the trained model, we also apply TensorRT, a model optimization engine that can improve inference speed from several to dozens of times. The performance of the implemented system was compared with the average precision and image inference time of the optimization model applied with TensorRT, and the performance improvement was confirmed.

참고자료

· 없음