드라마 동영상의 스토리 분석을 위한 계층적 은닉변수 모델 (Hierarchical Latent Variable Models for Story Analysis of TV Dramas)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 18권 / 5호 / 434 ~ 438페이지
· 저자명 : 이바도, 석호식, 장병탁

초록

통계기법을 이용한 기계학습 연구가 활발히 진행되면서 시간 정보가 포함된 동적 스트림(stream) 분석에 기계학습 기법을 적용하려는 시도가 주목 받고 있다. 그러나 기존 연구는 동일 이미지 반복이라는 사전 지식을 이용하여 이미지 구간을 분리하였으며 각 스토리 구간을 특정 짓는 이미지/텍스트의 분포가 뚜렷하게 구분되는 데이터를 대상으로 하였기에, 다양한 동영상 데이터에 적용하기에는 적합하지 않았다. 본 논문에서는 이미지 반복 등의 사전 지식을 이용하지 않고 비디오 스트림을 설명할 수 있는 생성 모델(Generative Model)을 구성한 후 구성된 모델이 관찰한 장면(frame)을 만들어 낼 수 있는 가능성(Likelihood)에 기반 하여 주어진 드라마의 스토리 구간을 추정할 수 있는 방법을 소개한다. 본 논문에서 제안하는 방법은 각 스토리 구간의 은닉 구조 설명 모수 비교가 어렵다는 난점 해결을 위해 스토리 구간의 은닉 구조가 주어졌을 때 새로운 데이터의 설명 가능성을 계산하는 방법을 활용한다는 특징이 있다. 우리는 LDA(Latent Dirichlet Allocation) 방법론을 이용하여 스토리 구간 모델을 생성하였으며, 드라마 동영상에 제안 방법을 적용하여 추정한 결과를 인간 실험자의 스토리 구분 결과와 비교하여 제안 방법의 성능을 실험적으로 제시하였다.

영어초록

With the advancement of statistical machine learning, various machine learning methods have been applied to dynamic analysis of multimodal streams. However, previous studies have limitations for tackling various real-world streams because they focus on utilizing very limited characteristics of certain domains such as repetition of fixed frames. In this paper, we introduce a generative model-based segmenting method in which a story segment of a video stream is estimated through the likelihood of a given model to explain incoming data without requiring prior knowledge. There exists a profound question of how to compare each segment's latent structure parameters. In the proposed model, this difficulty is circumvented by computing likelihood of a new frame given a story model. We apply the proposed method to distinguishing several story segments in a TV drama episode. We employ LDA (Latent Dirichlet Allocation) framework for generating a story segment model. The proposed method is validated by comparing its results with those of human estimation.

참고자료

· 없음