CoEM: 청각-시각 잠재 표현형을 위한 대조적 임베딩 변환자 (CoEM: Contrastive Embedding Mapper for Audio-visual Latents)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 50권 / 1호 / 80 ~ 86페이지
· 저자명 : 이기훈, 이경채, 정민찬, 이명진, 윤세영, 윤찬현

초록

인간의 지각은 청각-시각 정보를 연관 지어 청각 정보로부터 시각 정보를 연상할 수 있고 그 역도 가능한다. 이러한 능력은 청각-시각 정보가 관련되어 있는 상황을 경험하며 자연스럽게 획득할 수 있지만, 두 유형의 정보가 충분히 결합된 영상 데이터는 각 장면의 맥락에 따라 두 가지 레이블을 동시에 만들어주어야 하므로 데이터셋을 만들기 어렵다. 본 논문에서는 같은 카테고리에 대해 한 가지 유형에 대한 임베딩에서 다른 유형으로 변환(mapping)할 수 있는 Contrastive Embedding Mapper (CoEM)을 제안한다. 청각-시각 정보를 쌍으로 짝지을 필요 없이 CoEM은 카테고리에 따라 변환된 임베딩을 대조하는 방식으로 학습한다. 우리는 청각과 시각 데이터셋에 대한 CoEM의 효력을 확인하기 위해 20가지의 카테고리에 대해 실험했다. 실험에서 CoEM에 의해 변환되어 연결된 임베딩들은 다른 도메인에서의 검색 성능의 경우 이웃하는 기준점이 충분한 경우(20개) 약 90%의 성능을 보였다. 또한, 연결된 도메인에서의 데이터 재 생성이 가능함을 확인했다.

영어초록

Human perception can link audio-visual information to each other, making it possible to recall visual information from audio information and vice versa. Such ability is naturally acquired by experiencing situations where these two kinds of information are combined. However, it is hard to obtain video datasets that are richly combined with both types of information, and at the same time, labeled for the semantics of each scene. This paper proposes a Contrastive Embedding Mapper (CoEM), which maps embedding from one type of information to the another, corresponding to its categorical modality.
Paired data is not required, CoEM learns to contrast the mapped embedding by its categories. We validated the efficacy of CoEM on the embeddings for audio and visual datasets which were trained to classify 20 shared categories. In the experiment, the embedding mapped by CoEM showed that it was capable of retrieving and generating data on its mapped domain.

참고자료

· 없음