식물 데이터셋 구축을 위한 다중분광 영상 정합 및 임계값 기반 의미적 분할 (Multispectral Image Registration and Threshold-Based Semantic Segmentation for Constructing Plant Dataset)

서지정보

· 발행기관 : 한국산학기술학회
· 수록지 정보 : 한국산학기술학회논문지 / 25권 / 9호 / 759 ~ 765페이지
· 저자명 : 이상호, 강예지, 권경도, 양창주, 김국환, 홍영기

초록

컴퓨터 비전 분야에서 객체 분할은 식물 영상에서 표현형 특징을 정량화하고 식별 및 분류를 위한 중요한 작업이다. 분할의 목적은 영상의 표현을 좀 더 의미있고 해석하기 쉽도록 단순화하거나 변환하는 것이고, 그중에서도 의미적 분할은 영상을 픽셀별로 분류하는 것이다. 본 연구에서는 멀티 렌즈 카메라를 사용해서 식물의 다중분광 영상을 얻은 후, 각 밴드별 영상을 정합하여 의미적 분할 데이터셋을 구축하는 방법을 제안한다. 촬영에 사용한 카메라는 7개의 렌즈로 각각 단일 파장의 영상을 취득하는 시스템이기 때문에 분석을 위해서는 영상을 정합하는 과정이 필수적이다. 영상 정합에는 칼라와 관련된 5개의 파장 영상 중 하나를 기준으로 나머지 영상을 정합하는 방식을 적용했다. 정합을 위한 방법으로는 ORB를 사용하였다. 그리고 정합된 영상들을 기반으로 딥러닝 학습을 위한 의미적 분할 데이터셋을 구축한다. 식물은 일반적으로 가시광 영역에서 green 채널의 픽셀 값이 red, blue 채널에 비해 상대적으로 높은 값을 가지는 경향이 있으며, 적외선 영역에서도 픽셀 값이 크다는 특성이 있다. 그러므로 R, G, B, NIR 파장을 모두 활용해서 픽셀 값에 적절한 임계값을 설정하면 영상에서 식물 부분만 의미적 분할하는 것이 가능하다. 실험을 통해 DeepLab v3+을 사용하여 학습 데이터 셋 100장을 기준으로 Mean IOU 0.991142, Cross Entropy 0.011507의 결과를 얻었다. 본 연구를 통해 RGB 영상만으로도 라벨링없이 식물의 의미적 분할 영상 데이터 양을 쉽게 늘릴 수 있다.

영어초록

In computer vision, object segmentation is important for quantifying phenotypic features and identifying and classifying plant images. The purpose of segmentation is to simplify or transform the expression of the image to make it more meaningful and easier to interpret. Among these, semantic segmentation classifies an image pixel-by-pixel. This paper proposes a method to obtain multispectral images of plants using a multi-lens camera and build a semantic segmentation dataset by matching the images for each band. Matching the images is essential for analysis because the camera used for filming is a system that acquires images of a single wavelength with seven lenses. A method of matching the remaining images based on one of five wavelength images related to color was applied for image registration. ORB was used as a method for matching. A semantic segmentation dataset for deep learning was constructed based on the matched images. Plants generally tend to have relatively high pixel values in the green channel in the visible light range compared to the red and blue channels and have large pixel values in the infrared range. Therefore, only the plant portion of the image can be segmented semantically by setting an appropriate threshold for pixel values using all R, G, B, and NIR wavelengths. Through experiments, a mean IOU (Ed note: Please define IOU.)of 0.991142 and cross-entropy of 0.011507 were obtained based on a training data set of 100 using DeepLab v3+. Through this study, the amount of semantic segmentation image data of plants can be increased without labeling using only RGB images.

참고자료

· 없음