Multimodal Sparse Representation Learning and Applications

최초 등록일
최종 저작일
26페이지/파일확장자 어도비 PDF
가격 6,100원 할인쿠폰받기
자격시험 이용후기 이벤트

* 본 문서는 배포용으로 복사 및 편집이 불가합니다.


발행기관 : 중앙대학교 인문콘텐츠연구소 수록지정보 : 인공지능인문학연구 / 2권
저자명 : ( Miriam Cha ) , ( Youngjune L. Gwon ) , ( H. T. Kung )

영어 초록

Sparse coding has been applied successfully to single-modality scenarios. We consider a sparse coding framework for multimodal representation learning. Our framework aims to capture semantic correlation between different data types via joint sparse coding. Such joint optimization induces a unified representation that is sparse and shared across modalities. In particular, we compute joint, cross-modal, and stacked cross-modal sparse codes. We find that these representations are robust to noise and provide greater flexibility in modeling features for multimodal input. A good multimodal framework should be able to fill in missing modality given the other and improve representational efficiency. We demonstrate missing modality case through image denoising and indicate effectiveness of cross-modal sparse code in uncovering the relation of the clean-corrupted image pairs. Furthermore, we experiment with multi-layer sparse coding to learn highly nonlinear relationship. The effectiveness of our approach is also demonstrated in the multimedia event detection and retrieval on the TRECVID dataset (audio-video), category classification on the Wikipedia dataset (image-text), and sentiment classification on PhotoTweet (image-text).

참고 자료



제휴사는 별도로 자료문의를 받지 않고 있습니다.

판매자 정보

한국학술정보(주)는 콘텐츠 제작에 도움이 되는 솔루션을 기반으로 풍부한 문화 콘텐츠를 생성하여 새로운 삶의 가치를 창조합니다.

본 학술논문은 한국학술정보(주)와 각 학회간에 저작권계약이 체결된 것으로 AgentSoft가 제공 하고 있습니다.
본 저작물을 불법적으로 이용시는 법적인 제재가 가해질 수 있습니다.

상세하단 배너
우수 콘텐츠 서비스 품질인증 획득
최근 본 자료더보기
Multimodal Sparse Representation Learning and Applications