딥러닝 기반 김부각 건조 반제품 표면 검출 모델 개발 (Development of surface detection model for dried semi-finished product of Kimbukak using deep learning)

서지정보

· 발행기관 : 한국정보전자통신기술학회
· 수록지 정보 : 한국정보전자통신기술학회 논문지 / 17권 / 4호 / 205 ~ 212페이지
· 저자명 : 김태형, 권기현, 김아나

초록

본 연구는 건조부각을 유탕기에 투입하기 전 로봇에 장착된 진공 그리퍼를 활용하여 건조 반제품(건조부각)을 이송하기 위한 선별 작업에서 그리핑 성공률을 향상시기키 위한 수단으로 건조부각의 앞면(고명이 있는)과 뒷면(고명이 없는) 표면을 판별하는 딥러닝 모델을 제안한다. 획득한 건조부각 440개의 RGB 영상을 기반으로 데이터 증강 기법을 적용한 후 건조부각 영역 및 표면 정보 라벨링을 진행하였다. 데이터 전처리 과정을 거친 건조부각 데이터를 기반으로 영역 검출을 위해 딥러닝 모델은 YOLO-v5을 적용하였다. 그 결과 건조부각 앞면 영역 검출의 mAP와 mIoU 값은 각각 0.98와 0.96으로 나타났으며, 뒷면의 경우 각각 1.00과 0.95로 나타났다. 앞면과 뒷면 2개의 클래스에 대하여 이진분류한 결과는 average 98.5%, recall 98.3%, precision 98.6%, F1-score 98.4%로 나타났다. 본 연구 결과를 통하여 RGB 영상을 활용한 건조부각의 표면 정보에 대한 분류가 가능하며, 추후 유탕 전 건조부각 표면 선별공정의 로봇-자동화 시스템 개발에 활용될 가능성을 확인하였다.

영어초록

This study developed a deep learning model that distinguishes the front (with garnish) and the back (without garnish) surface of the dried semi-finished product (dried bukak) for screening operation before transfter the dried bukak to oil heater using robot’s vacuum gripper. For deep learning model training and verification, RGB images for the front and back surfaces of 400 dry bukak that treated by data preproccessing were obtained. YOLO-v5 was used as a base structure of deep learning model. The area, surface information labeling, and data augmentation techniques were applied from the acquired image. Parameters including mAP, mIoU, accumulation, recall, decision, and F1-score were selected to evaluate the performance of the developed YOLO-v5 deep learning model-based surface detection model. The mAP and mIoU on the front surface were 0.98 and 0.96, respectively, and on the back surface, they were 1.00 and 0.95, respectively. The results of binary classification for the two front and back classes were average 98.5%, recall 98.3%, decision 98.6%, and F1-score 98.4%. As a result, the developed model can classify the surface information of the dried bukak using RGB images, and it can be used to develop a robot-automated system for the surface detection process of the dried bukak before deep frying.

참고자료

· 없음