AI 기반 실시간 온라인 랜덤 플레이 댄스 플랫폼 개발 (AI-based Real-time Online Random-play Dance Platform)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 25권 / 3호 / 685 ~ 693페이지
· 저자명 : 김수빈, 박지혜, 이민영, 문서연, 이경미

초록

최근 숏폼 동영상의 유행으로 자신의 댄스 동영상을 업로드하거나 다른 사용자의 댄스 동영상을 보며 즐길 수 있는 플랫폼의 인기가 높아지고 있지만, 여전히 직접 참여하는 데에는 한계가 있다. 본 논문에서는 이러한 제약을 해결하기 위해 누구나, 언제, 어디서든, 참여할 수 있는 온라인 랜덤 플레이 댄스 플랫폼을 제안한다. 사용자가 제안하는 댄스 플랫폼에 접속하고 모바일 카메라 앞에 서서 랜덤하게 선택된 음악에 맞춰 댄스를 추면, 플랫폼은 실시간으로 사용자의 관절을 검출하고 댄스 동작을 분석하여 해당 음악의 참조 댄스 동작과의 유사도를 계산한다. 실시간 플레이를 위해 프론트엔드는 추출한 관절을 서버로 전송하고 서버가 동작 벡터 생성 및 유사도 계산을 함으로써 프론트엔드의 부하를 분산시킨다. 또한 빠르게 변하는 데이터는 데이터 캐싱으로 빠른 처리가 가능하게 한다. 댄스 동작 유사도 계산을 위해 사전학습된 동작 유사도 계산 신경망을 미세조정 학습시켰고 몸통을 제외하고 팔과 다리만 사용하여 최대-최소 정규화를 적용한 경우에 동작 유사도 오차를 줄여 더 좋은 정확도를 획득했다.

영어초록

With the recent increase in short-form videos, platforms that allow a user to upload his/her dance videos or watch others' videos have become increasingly popular; however, direct participation is still limited. Hence, this study proposes an online random-play dance platform that allows participation from anywhere, anytime. A user accessing the proposed dance platform can stand in front of a mobile camera and dance to randomly selected music, whereby the platform detects the user’s body joints in real time and analyzes the dance motions to calculate their similarity with the reference dance motions of the randomly selected music. In real-time play, the front end sends the extracted joints to the server, and the platform offloads the front end by allowing the server to generate motion vectors to calculate the similarity. In addition, data caching was performed to enable the fast processing of rapidly changing data. As a result of fine-tuning a predefined gesture-similarity neural network, applying min–max normalization, and considering movements of only arms and legs (excluding the torso), motion-similarity error was reduced, thereby achieving better accuracy in computing dance-motion similarity.

참고자료

· 없음