정교한 임베딩 표현을 위한 혼동률 기반 적응형 메트릭 학습 (An Adaptive Metric Learning Method based on Confusion Rates for Fine-grained Embedding)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 28권 / 12호 / 587 ~ 593페이지
· 저자명 : 김아현, 심규석

초록

메트릭 학습은 딥러닝 모델로 샘플 간의 유사도를 수치화하여 임베딩 함수를 학습하는 기계학습 방법이다. 기존 학습 방법은 임베딩 함수를 미니배치에 있는 데이터의 영향을 받아 업데이트 한다. 이러한 이유로, 데이터의 임베딩이 미니배치에 포함되지 않은 다른 클래스의 데이터 임베딩과 가깝게 표현될수 있으며, 모델 성능이 하락할 수 있다. 이를 극복하기 위해, 혼동률 기반 적응형 메트릭 학습을 제안한다. 제안한 방법은 전체 데이터의 모든 클래스 쌍의 혼동률을 계산하고, 학습 시에 이를 고려하여 그라디언트의 크기와 방향을 조정한다. 이는 미니배치 내의 데이터의 임베딩이 혼동하기 쉬운 클래스에 속한 데이터의 임베딩과 가까워지는 것을 막는 방법으로, 모델이 정교한 데이터의 임베딩을 만드는데 도움을 준다. 실생활의 이미지 벤치마크를 사용하여, 학습 시 사용하지 않은 클래스에 대한 검색인 제로 샷 이미지검색에서 제안한 학습 방법이 기존 메트릭 학습 방법보다 성능이 우수함을 보였다.

영어초록

Metric learning is a machine learning method that learns embedding functions by quantifying the similarity between data samples with a deep learning model. The existing learning methods update the embedding function under the influence of the data in a mini-batch. For this reason, the embedding of a data sample can get close to the embedding of another data sample of a different class that does not exist in the mini-batch, and thus it may degrade the performance of the model. To overcome the drawback, we propose an adaptive metric learning method based on confusion rates. The proposed method calculates confusion rates between every pair of classes in the entire dataset, and then it adjusts the magnitudes and directions of gradients considering the confusion rates in training. This method prevents the embedding of a data sample from becoming closer to the embeddings of data samples whose classes are likely to be confused, and thus it helps the model generate fine-grained embeddings. By using real-life image benchmarks, we show that our method outperforms the existing metric learning for a zero-shot image retrieval which searches for the classes not used during training.

참고자료

· 없음