VGG-Foley-Sound: 대형 멀티모달 모델 및 CLAP을 이용한 폴리 사운드 비디오 데이터셋 재구성 (VGG-Foley-Sound: Reconstruction of Foley-sound Video Dataset using a Large Multi-modal Model and CLAP)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 31권 / 5호 / 271 ~ 276페이지
· 저자명 : 이윤수, 최수형, 설한울, 신수연, 장병탁

초록

생성 모델은 이미지를 생성하는 데 탁월한 성능을 보이지만, 소리, 특히 영상의 후편집 작업에 삽입되는 효과음인 폴리 사운드(foley-sound)를 생성하는 데에는 충분한 성능을 내지 못하고 있다. 우리는 이를 보완하기 위해 폴리 사운드 생성을 위한 비디오 데이터셋을 재구축했다. VGG-Sound는 유튜브 영상의 ID와 라벨을 제공하는 비디오 데이터셋이다. 하지만 이 데이터셋의 클래스는 폴리 사운드에 적합하지 않다. 본 연구는 먼저, VGG-Sound의 유튜브 ID로 섬네일 이미지를 추출하고 이를 대형 멀티모달 모델인 LLaVA에 입력해 해당 영상의 주요 재질을 예측했다. 또한 CLAP을 이용해, 오디오의 재질을 예측했다. 그리고 두 예측을 결합하여 폴리 사운드 생성에 적합한 데이터셋을 만들었다. 평가 결과, 시각 정보와 청각 정보를 모두 사용했을 때, 더욱 오디오와 유사도가 높은 라벨이 생성되었다. 또한 이 데이터셋으로 소리 생성 모델을 미세 조정할 시 일부 정량 평가 척도에서 성능이 향상되었다.

영어초록

While generative models have demonstrated remarkable performance in image synthesis, their capability in sound generation―particularly Foley-sounds used in post-production―remains limited. To address this gap, we reconstructed a video dataset specifically tailored for Foley-sound generation. VGG-Sound, a dataset based on videos, provides YouTube IDs and associated class labels. However, these labels are not suitable for Foley-sound generation tasks. In this study, we first extracted thumbnail images using YouTube IDs from VGG-Sound and input them into LLaVA, a large multimodal model, to predict primary materials of videos. We then employed CLAP to predict the primary materials of audio. By combining the visual and auditory predictions, we construct a new dataset optimized for Foley-sound generation. Evaluation results demonstrated that utilizing both visual and auditory information yielded labels that more closely aligned with the audio characteristics. Furthermore, fine-tuning a sound generation model on this dataset leads to performance improvements across several quantitative evaluation metrics.

참고자료

· 없음