대화형 SNS를 구현하기 위한 실시간 립싱크 및 표정 생성 시스템 연구 (A Study of the Real-time Lip-sync and Facial Animation Making System for Dialogue SNS)

서지정보

· 발행기관 : 한국애니메이션학회
· 수록지 정보 : 애니메이션연구 / 7권 / 2호 / 120 ~ 137페이지
· 저자명 : 한성호, 조형제, 최미임

초록

대화형 SNS(Social Network Service)는 기존의 채팅 위주의 SNS가 아닌 음성으로 온라인상에서 실시간커뮤니케이션이 구현될 수 있는 새로운 개념의 SNS의 한 형태이다. 본 연구는 대화형 SNS에서 구현되는오프라인(Off-line)에서 존재하는 실제 사람(유저)의 다양한 표정 및 음성을 가상공간 내의 사이버 3D 캐릭터(아바타)가 실시간으로 따라하는 립싱크 애니메이션(Lip-sync Animation) 및 표정 애니메이션(Facial Animation)을 구현시켜 주는 시스템을 연구하였다. 이 시스템은 온라인상의 캐릭터가 현실세계(오프라인)상의 실제 사람이 느끼고 있는감정이 표현된 표정이나 말하고 있는 입의 모양 등을 화면으로 캡처해서 영상처리(Image Processing)하는 것이 아닌 음성 및 의미를 순수하게 음성처리(Sound Processing)를 통해 실시간으로 구현하는 방법이다.
이를 구현하기 위해 실제 사람이 소리를 내기 위해서 입모양을 변형할 때 입술이 바로 움직일 수 없는 점에 착안하여 가상공간에서도 3D캐릭터의 입술모양을 만들 때 3차원 도형 간의 변형을 조절하는 변수에 관성의 법칙(The Law of Inertia)을 적용하였다. 또한 3D캐릭터의 입모양의 변형을 자연스럽게 하기 위하여 일반적인 몰핑개념에물리적인 3D 객체 혼합기(Object Blender)를 적용하였다. 사람과 유사한 발음(Sound) 모양을 내기 위한 간략한방법으로는 먼저, 사용자가 말을 하게 되면 그 말을 음성인식을 통해 문자 정보를 얻어오고 립싱크 및 얼굴 표정데이터에서 원본 객체(Object)와 대상 객체(Object)를 섞기 위한 준비(몰핑 데이터 준비)를 한 다음 마지막으로문자에 맞게 캐릭터의 입모양과 표정을 연출하며 음성합성으로 문자를 소리로 변환하여 발성시킨다. 상기의 방법등을 통해 구현된 립싱크 및 표정 생성 시스템은 일반인들에게 감동과 깊은 인상을 줄 뿐만 아니라 정보를 전달하는데 있어 훨씬 용이하며 앞으로 대중화될 대화형 SNS나 SNG 등에서 다양한 형태로 활용되고 구현될 것이다.

영어초록

Dialogue Social Network Service (SNS) is not a traditional SNS utilizing chatting,but an advanced form of SNS utilizing real-time voice communication over the Internet. The aim of this study is to study the real-time lip-sync and facial animation making system, a system of lip-sync animation and facial animation that would enable cyber 3D characters to mimick the offline users' voice and facial movement, in dialogue SNS. The real-time lip-sync and facial making system is a system which enable cyber 3D characters to mimick the offline users' voice and facial movement through sound processing, not by image processing.
In order to make it real, the law of inertia was applied when the lip animation of a 3D character. The physical 3D Object Blender was applied to general morphing concept to make the change smoother. In order to make similar sounds to humans, in real-time lip-sync and facial making system, first it prints out the saved data after receiving occurred letter information. Then, do the facial signal process, and prepare to mix original object with objective object. Finally, stage the character's facial animation. The real-time lip-sync and facial making system explained above is easier to transfer the information,gives better impressions to general public, and is expected to be used more when it comes to real-time voice communication.
The purpose of this study is to explore real-time lip-sync and facial making system in which cyber characters deliver lip-sync-animation, synchronization of facial expressions and voice of real people in real-time at off-line. Lipsync-animation delivered by impersonated movement, facial expressions and voice of 3D cyber characters provide the public with greater impressions and easier access to the information by making the images more real than 2D images. Therefore, it will be a lot easier to make Real-Time Lip-sync and Facial Making System public in the form of SNS (Social Network Service).

참고자료

· 없음