VisualGenome 장면 그래프을 위한 역파일 구조 기반 색인 기법 (An Indexing Scheme Based on Inverted File Structure for Visual Genome Scene Graphs)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 22권 / 12호 / 148 ~ 159페이지
· 저자명 : 이현병, 송상호, 최도진, 김상혁, 전종우, 성우제, 임종태, 정성모, 송석일, 복경수, 유재수

초록

장면 그래프는 최근 컴퓨터 과학 분야에서 가장 인기 있는 주제 중 하나이다. 이는 크게 장면 그래프 생성 및 탐색으로 구분할 수 있다. 일반적인 장면 그래프 생성 방법은 데이터 집합으로부터 이미지와 이 이미지를 설명하는 문장 데이터인 캡션 데이터를 읽어 장면 그래프를 생성하는 것이다. 이 과정은 모두 기계학습 기법중 하나인 딥러닝을 이용한다. 이를 통해 생성된 모델을 이용해 탐색을 수행하는 것은 장점도 존재하지만 높은 계산 비용과 해석하기가 어렵다는 단점도 있다. 본 논문에서는 효율적인 장면 그래프 탐색을 위한 역파일 기반의 색인 기법을 제안한다. 가장 많이 사용되는 데이터 집합인 Visual Genome을 이용해 역파일 기반의 색인을 구축했으며 이를 분산 인메모리 기반 프레임워크인 아파치 스파크를 이용해 구현 및 실험을 수행했다. 또한 동일한 데이터 집합을 이용하는 기계학습 기반의 기법과의 비교를 통해 제안하는 기법의 우수성과 타당성을 입증한다.

영어초록

Scene graphs are one of the most popular topics in computer science these days. This can be largely divided into scene graph generation and retrieval. A typical scene graph generation method is to generate a scene graph by reading an image from a dataset and caption data, which is the sentence data describing the image. Usually, These studies exploit deep learning, one of the machine learning techniques. Although there are advantages in performing search using the generated model, there are also disadvantages in that it is difficult to interpret with high computational cost. In this paper, we propose an inverted file-based indexing technique for efficient scene graph retrieval. We built a inverted file-based index using Visual Genome, the one of most popular dataset, and implemented and experimented with Apache Spark, a distributed in-memory-based framework. We also demonstrate the superiority and validity of the proposed technique by comparing it with other machine learning-based technique using the same dataset.

참고자료

· 없음