토큰 공간 기반 표상을 활용한 설명가능 동영상 검색 시스템 (Explainable Video Search System using Token Space-based Representation)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 51권 / 12호 / 1068 ~ 1077페이지
· 저자명 : 박지열, 김두영, 고영중

초록

질의-동영상 검색은 사용자가 입력한 질의와 가장 관련성 깊은 동영상을 찾는 분야이다. 이를 위해 기존 연구들은 질의와 동영상을 적절히 잠재 벡터 공간으로 표상하여 검색에 활용한다. 하지만 질의와 동영상의 관련도를 계산하는 방식이 단순히 두 벡터의 내적값을 활용할 뿐, 의미, 내용, 설명가능성 등을 내포하지 않는다. 본 논문에서는 질의와 동영상을 토큰 기반 공간에 위치한 임베딩으로 변환하여, 동영상을 문서처럼 검색하여 의미적 유사도를 계산하는 모델을 제안한다. 실험 결과 본 논문에서 제안하는 최종 모델의 성능은 베이스라인 대비 MSVD 데이터셋에서 Recall@1, Recall@5, Recall@10 기준 모두 향상된 성능을 보인다. 나아가 CLIP4Clip 대비 제안 모델이 약 3.33배 빠르며, 최소한의 수정을 거친 BM25를 적용한 경우 약 208.11배 빠른 속도를 보인다. 또한, 정성 평가를 통해 동영상으로부터 추출한 토큰이 자막에 준하는 관련도를 보이며 설명가능성 기반 구조임을 증명한다.

영어초록

Query-video retrieval is a field that finds the most relevant video to the query input by the user. For this, existing studies have presented the query and video in an appropriate latent vector space. However, the method of calculating the relevance between the query and the video simply uses the dot product of the two vectors without implying the meaning or explainability. In this paper, we propose a model that converts the query and video into embeddings located in a token-based space, searches the video like a document, and calculates semantic similarity. Experimental results show that the performance of the final model proposed in this paper is improved in Recall@1, Recall@5, and Recall@10 compared to baseline on MSVD dataset. Furthermore, the proposed model is approximately 3.33 times faster than CLIP4Clip. When applying BM25 with minimal modifications, it achieves a speedup of about 208.11 times. Additionally, qualitative evaluations demonstrate that tokens extracted from videos exhibit relevance comparable to subtitles, proving an explainability-based structure.

참고자료

· 없음