컨볼루셔널 뉴럴 네트워크를 이용한 주인공 식별 기반의 영상장면 탐색 기법 (A scene search method based on principal character identification using convolutional neural network)

서지정보

· 발행기관 : 중소기업융합학회
· 수록지 정보 : 융합정보논문지 / 7권 / 2호 / 31 ~ 36페이지
· 저자명 : 권명규, 양형식

초록

본 논문은 대량의 영상에서 특정 출연자가 나오는 영상부분을 탐색하여 재생하고자 한다. TV영상 프로그램에서 주인공이나 특정 장면을 탐색 하려면 영상을 플레이하거나 코너를 설정하여 시청한다. 기존 방식은 장면 탐색이나 코너별 시청시 수동으로 offset값을 설정 하여야만 한다. 그러나 본 논문에서 제안하는 방식은 주인공 얼굴을학습 시킨후 영상인식으로 주인공을 찾고 주인공이 등장하는 장면으로 이동하여 영상을 재생 하게 된다. 특정 출연자에 대한 데이터는 크롤링 기법을 활용하여 추출 및 수집한다. 수집된 데이터를 기반으로 컨볼루셔널 뉴럴 네트워크 알고리즘을 사용하여 학습하고 이를 이용하여 성능 평가를 진행한다. 성능 평가는 드라마를 재생하면서 추출된키 프레임에서 학습 된 특정 출연자를 추출, 판단하는 방법으로 정확도를 측정한다. 학습된 장면을 얼마나 빨리 그리고 정확하게 탐색 하는지 성능 확인결과 약 93%의 정확도를 확보하였다. 도출된 성능을 기반으로 특정 장면만을시청하는 코너별 시청, 인물 탐색 및 상세정보 retrieval 등 영상서비스에 응용 하고자 한다.

영어초록

In this paper, we try to search and reproduce the image part of a specific cast from a large number of images. The conventional method must manually set the offset value when searching for a scene or viewing a corner. However, in this paper, the proposed method learns the main character 's face, then finds the main character in the image recognition and moves to the scene where the main character appears to reproduce the image. Data for specific performers is extracted and collected using crawl techniques. Based on the collected data, we learn using convolutional neural network algorithm and perform performance evaluation using it. The performance evaluation measures the accuracy by extracting and judging a specific performer learned in the extracted key frame while playing the drama. The performance confirmation of how quickly and accurately the learned scene is searched has obtained about 93% accuracy. Based on the derived performance, it is applied to the image service such as viewing, searching for person and detailed information retrieval per corner

참고자료

· 없음