UAV 항공 영상에서의 딥러닝 기반 잣송이 검출 (Deep Learning Based Pine Nut Detection in UAV Aerial Video)

서지정보

· 발행기관 : 한국항행학회
· 수록지 정보 : 한국항행학회논문지 / 25권 / 1호 / 115 ~ 123페이지
· 저자명 : 김규민, 박성준, 황승준, 김희영, 백중환

초록

잣은 우리나라 대표적인 견과류 임산물이자 수익형 작물이다. 그러나 잣송이는 사람이 직접 나무 위로 올라가 수확하기 때문에 위험성이 높다. 이러한 문제를 해결하기 위해서 로봇 또는 UAV(unmanned aerial vehicle)를 이용한 잣송이 수확이 필요하다. 본 논문에서는 UAV를 이용한 잣송이 수확을 위해 UAV 항공 영상에서 딥러닝(deep learning) 기반의 잣송이 검출 기법을 제안한다. 이를 위해, UAV를 이용하여 실제 잣나무 숲에서 동영상을 촬영했으며, 적은 수의 데이터 보완을 위해 데이터 증강기법을 사용했다. 3D 검출을 위한 데이터로는 Unity3D을 이용하여 가상 잣송이 및 가상환경을 3D 모델링 하였으며 라벨링은 좌표계의 3차원 변환법을 이용해 구축했다. 잣 분포 영역 검출, 잣 객체에 대한 2D 및 3D 검출을 위한 딥러닝 알고리즘은 DeepLabV3, YOLOv4, CenterNet을 각각 이용하였다. 실험 결과, 잣송이 분포 영역 검출률은 82.15%, 2D 검출률은 86.93%, 3D 검출률은 59.45%이었다.

영어초록

Pine nuts are Korea's representative nut forest products and profitable crops. However, pine nuts are harvested by climbing the trees themselves, thus the risk is high. In order to solve this problem, it is necessary to harvest pine nuts using a robot or an unmanned aerial vehicle(UAV). In this paper, we propose a deep learning based detection method for harvesting pine nut in UAV aerial images. For this, a video was recorded in a real pine forest using UAV, and a data augmentation technique was used to supplement a small number of data. As the data for 3D detection, Unity3D was used to model the virtual pine nut and the virtual environment, and the labeling was acquired using the 3D transformation method of the coordinate system. Deep learning algorithms for detection of pine nuts distribution area and 2D and 3D detection of pine nuts objects were used DeepLabV3+, YOLOv4, and CenterNet, respectively. As a result of the experiment, the detection rate of pine nuts distribution area was 82.15%, the 2D detection rate was 86.93%, and the 3D detection rate was 59.45%.

참고자료

· 없음