뮤직비디오 브라우징을 위한 중요 구간 검출 알고리즘 (Salient Region Detection Algorithm for Music Video Browsing)

서지정보

· 발행기관 : 한국음향학회
· 수록지 정보 : 한국음향학회지 / 28권 / 2호 / 112 ~ 118페이지
· 저자명 : 김형국, 신동

초록

본 논문은 모바일 단말기, Digital Video Recorder (DVR) 등에 적용할 수 있는 뮤직비디오 브라우징 시스템을 위한 실시간
중요 구간 검출 알고리즘을 제안한다. 입력된 뮤직비디오는 음악 신호와 영상 신호로 분리되어 음악 신호에서는 에너지기반
의 음악 특징값 최고점기반의 구조분석을 통해 음악의 후렴 구간을 포함하는 음악 하이라이트 구간을 검출하고, SVM
AdaBoost 학습방식에서 생성된 모델을 이용해 음악신호를 분위기별로 자동 분류한다. 음악신호로부터 검출된 음악 하이라
이트 구간과 영상신호로부터 검출된 가수, 주인공의 얼굴이 나오는 영상장면을 결합하여 최종적으로 중요구간이 결정된다.
제안된 방식을 통해 사용자는 모바일 단말기나 DVR에 저장되어 있는 다양한 뮤직비디오들을 분위기별로 선택한 후에 뮤직
비디오의 30초 내외의 중요구간을 빠르게 브라우징하여 자신이 원하는 뮤직비디오를 선택할 수 있게 된다. 제안된 알고리즘
의 성능을 측정하기 위해 200개의 뮤직비디오를 정해진 수동 뮤직비디오 구간과 비교하여 MOS 테스트를 실행한 결과
제안된 방식에서 검출된 중요 구간이 수동으로 정해진 구간보다 사용자 만족도 측면에서 우수한 결과를 나타내었다.

영어초록

This paper proposes a rapid detection algorithm of a salient region for music video browsing system, which can be
applied to mobile device and digital video recorder (DVR). The input music video is decomposed into the music and
video tracks. For the music track, the music highlight including musical chorus is detected based on structure analysis
using energy-based peak position detection. Using the emotional models generated by SVM-AdaBoost learning
algorithm, the music signal of the music videos is classified into one of the predefined emotional classes of the music
automatically. For the video track, the face scene including the singer or actor/actress is detected based on a boosted
cascade of simple features. Finally, the salient region is generated based on the alignment of boundaries of the
music highlight and the visual face scene. First, the users select their favorite music videos from various music
videos in the mobile devices or DVR with the information of a music video’s emotion and thereafter they can browse
the salient region with a length of 30-seconds using the proposed algorithm quickly. A mean opinion score (MOS)
test with a database of 200 music videos is conducted to compare the detected salient region with the predefined
manual part. The MOS test results show that the detected salient region using the proposed method performed much
better than the predefined manual part without audiovisual processing.

참고자료

· 없음