삼중항 샘플링 전략과 HNSW 알고리즘을 이용한 딥러닝 기반의 유사 이미지 검색 기법 (Deep Learning-Based Similar Image Retrieval Method Using Triplet Sampling Strategy and HNSW Algorithm)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 30권 / 2호 / 159 ~ 169페이지
· 저자명 : 소신, 고민수, 전백찬, 강경헌, 김정래, 김영길

초록

본 논문에서는 삼중항(triplet) 샘플링 전략과 ANN(Approximate Nearest Neighbor)을 이용한 유사 이미지 검색 방법을 제안한다. 삼중항 손실(triplet loss)을 이용하는 이미지 검색 모델의 학습 과정은 샘플링 전략에 따라 학습 효율 및 성능이 크게 달라진다. 제안하는 논문에서는 클래스 정보를 이용하여 in-class negative 샘플과 out-of-class negative 샘플을 나누어 샘플링하고 이를 효율적으로 배치해 학습의 효율과 검색 성능을 높인다. 또한 검색 대상의 수에 비례하여 늘어나는 유사도 계산의 복잡도를 ANN 방법을 적용하여 감소시켰으며, 다양한 ANN 중 최적의 알고리즘을 선별하기 위해 정확도, 메모리, 소요 시간 측면에서 실험을 진행하였다. 실험을 통해 제안하는 방법이 기존의 유사 이미지 검색 방법에 비해 높은 검색 성능과 빠른 속도를 보이는 것을 확인하였으며, t-SNE를 통해 해당 샘플링 방법이 미치는 영향력을 직관적으로 보였다.

영어초록

In this paper, we introduce a method of similar image retrieval by using triplet sampling strategy and ANN (Approximate Nearest Neighbor). In training image retrieval model by using triplet loss, the sampling strategy for training the model with triplet loss makes a lot of difference in training efficiency and accuracy. For this reason, we choose in-class negative samples and out-of-class negative samples divided by class information. Also, we reduced computational complexity by ANN algorithm and inspected accuracy, memory, spent time for selecting an optimal ANN algorithm. We verify that our method has higher search accuracy and speed than existing methods. Finally, we show that our sampling method has fine resolution for image retrieval by t-SNE.

참고자료

· 없음