딥러닝 기반의 실시간 상품 진열 상황 추정 시스템 (Deep Learning-based Real-time Product Display Situation Estimation System)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 23권 / 12호 / 554 ~ 563페이지
· 저자명 : 신상은, 강호석, 양종섭, 송근호, 정회경

초록

본 논문에서는 딥러닝을 기반으로 한 실시간 상품 인식 및 진열 상황 추정 기술을 이용하여 상품의 진열 상태를 실시간으로 감지하고 플래노그램을 준수하도록 관리하는 매장관리시스템을 개발하였다. 이를 위해 매장 진열대 이미지를 입력받아 SKU110K data set으로 훈련된 YOLOv8 딥러닝 모델을 사용하여 각 상품을 지역화하고, ResNet-50 모델을 미세 조정(fine-tuning)한 임베더(embedder)로 이미지 특징 벡터(image feature vector)를 생성하여 미리 등록된 참조 이미지 특징 벡터와 비교하여 상품을 식별하고 분류한다. 플래노그램 준수 제어 알고리즘은 수정된 Needleman-Wunsch(NW) 알고리즘의 시퀀스 정렬을 통해 생성된 플래노그램 준수 상태를 실제 매장 상황에서 활용할 수 있도록 보완하였다. 기존에는 정확한 일치 항목(MT), 올바른 위치에 빠진 항목(MI), 올바른 위치에 추가된 항목(ME), 추가 또는 잘못 배치된 항목 또는 빈 공간(NM)의 4가지 상태로 판단하여 오류가 많았다. 이에 본 논문에서는 NM을 추가, 삭제, 위치 변경, 떨어진 배치, 자리 밀림 등 5가지로 세분화하여 전체 8가지 상태로 확장하고, 여러 가지 특징적인 케이스를 처리할 수 있는 알고리즘을 제시한다.

영어초록

In this paper, we developed a store management system that detects the display status of products in real time and manages them to comply with the plan-o-gram using real-time product recognition and display status estimation technology based on deep learning. To achieve this, we input store shelf images, localize each product using the YOLOv8 deep learning model trained with the SKU110K data set, and generate an image feature vector using an em-bedder that fine-tunes the ResNet-50 model, combining the pre-registered reference image feature vector and Compare and identify and classify products. The plan-o-gram compliance control algorithm has been supplemented so that the plan-o-gram compliance status generated through sequence alignment of the modified Needleman-Wunsch(NW) algorithm can be utilized in actual store situations. Previously, there were many errors by judging the four states: exact match(MT), missing item(MI), added item in the correct position(ME), and added or misplaced item or empty space(NM). Accordingly, in this paper, we subdivide NM into 5 states (addition, deletion, location change, remote placement, and position shift), expand it to a total of 8 states, and present an algorithm that can handle various characteristic cases.

참고자료

· 없음