딥러닝 기반 전통음악 가사 추종 시스템의 구현 (Implementation of a Deep Learning-Based Korean Traditional Music Lyrics Tracking System)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 35권 / 1호 / 35 ~ 42페이지
· 저자명 : 오문흠, 이혜정, 이준환

초록

본 논문에서는 판소리 민요 정가 등의 우리 전통음악 교육을 위한 딥러닝 기반의 가사 추 , ,종 시스템 구현 사례를 소개하고 검토한다 우리 전통음악은 정간보와 같은 기보 방법이 존 .
재하더라도 부수되는 다양한 시김새 노래하는 기교 와 서양의 오선보와 같이 보편화 되지 ( )못하여 대중적인 측면의 교육과 전승에 어려운 점이 있다 본 논문에서는 딥러닝 방법을 이 .
용하는 우리 음악의 음소 인식 방법을 제안하고 이를 노랫말 과 일치시켜 추 (phoneme) (lyric)종하고 이를 보여주는 시스템을 제안한다 본 시스템의 음소 인식은 대규모 영어 음성 데이 .
터를 활용한 타입의 자기 교사 학습 을 활용한 백본 Hubert (SSL: Self-Supervised Learning)에 중규모 한국어 음성 데이터를 적응 학습시키고 소규모 우리 노랫말 데이터로 음성 노랫 , -말 적응 학습을 통해 얻었다 또한 인식된 음소와 노랫말의 정렬은 강제 정렬 . Viterbi (forcedalignment) 알고리즘을 적용하였고 소리와 정렬된 가사를 동시에 듣고 볼 수 있도록 가시화시스템을 구현하였다 구현된 시스템은 민요 판소리 정가 등 전통음악에 대해 가사 추종 실 . , ,험을 수행한 결과 사람에 의한 주관적인 정량적인 평가에서는 우리 전통음악 교육과 대중화에 도움을 줄 수 있는 수준으로 나타났다.

영어초록

This paper introduces a deep learning-based lyric tracking system for education ofour traditional music, such as pansori, minyo(Korean folk song), and jeongga.
Although there are traditional music notation methods such as jeongganbo, it is not asuniversal as the Western staff notation, and the various accompanying sigimsae(singingtechniques) makes it difficult to teach and pass it down to the general public. Inthis paper, we propose a deep learning-based phoneme recognition method for ourmusic and introduce a system that tracks and displays the phoneme by matching itwith the lyrics. The phoneme recognition is obtained by adapting medium-sizedKorean speech data to a backbone based on Hubert-type self-supervised learning(SSL: Self-Supervised Learning) using large-scale English speech data, andfollowed by speech-lyric adaptive learning with small-scale Korean lyrics data. Inaddition, the alignment of recognized phonemes and lyrics was applied to the Viterbiforced alignment algorithm, and a visualization system was implemented so that thesound and aligned lyrics can be heard and viewed simultaneously. The systemperformed a lyric tracking experiment on traditional music such and the subjectiveevaluation by humans showed that it can be helpful for the education andpopularization of our traditional music.

참고자료

· 없음