안면 색상 데이터 분석 기반의 퍼스널 컬러 진단 및 가상 메이크업 애플리케이션 개발 (Development of a Personal Color Diagnosis and Virtual Makeup Application Based on Facial Color Data Analysis)

서지정보

· 발행기관 : 한국영상학회
· 수록지 정보 : 한국영상학회논문집 / 22권 / 2호 / 41 ~ 57페이지
· 저자명 : 안예은, 이규빈, 정수현, 김희수, 유제혁

초록

최근, 뷰티 산업시장의 성장과 함께 개인의 아름다움을 더욱 부각할 수 있는 퍼스널 컬러의 관심도가 증가하고 있다. 오프라인 기반의 퍼스널 컬러 진단의 경우, 전문가의 관능 평가에 의해 퍼스널 컬러 진단이 이루어지며, 온라인 기반 퍼스널 컬러 진단의 경우, 사용자의 안면 촬영 이미지를 활용하여 애플리케이션 기반의 퍼스널 컬러 진단이 이루어진다. 간편성 및 저비용의 이유로 활용되는 온라인 퍼스널 컬러 진단의 경우, 사용자 안면 촬영 시, 광원 영향, 노이즈 등 환경 조건에 영향을 받기 때문에 진단 정확도가 떨어지는 문제가 발생한다. 또한, 기존 퍼스널 컬러 진단 서비스들의 경우, 실제와 같은 가상 메이크업이 이루어지고 있지 않기 때문에, 심미적인 체험을 진행할 수 없다는 단점이 존재한다. 본 연구는 일관성 있는 온라인 퍼스널 컬러 진단을 목표로 하여, 촬영된 사용자 안면 이미지를 다양한 색상 공간상에서 분석하고 대표 피부 색상을 추출하는 알고리즘에 대해 제안한다. 정확한 퍼스널 컬러 분석을 위해, YOLOv5 기반 객체 인식 딥러닝 모델을 활용하여 퍼스널 컬러 진단 저해 요소들을 제거하였으며, 군집화 기반의 데이터 분석 알고리즘 통해 대표 안면 색상을 도출하였다. 대표 안면 색상을 기반으로 퍼스널 컬러 유형을 진단하였으며, 최종적으로 진단된 퍼스널 컬러 기반으로, 사용자에게 심미적인 체험을 제공할 수 있는 가상 메이크업 기능을 추가하여 제공하였다. 가상 메이크업은 생성형 딥러닝 모델인 BeautyGAN을 이용하여 사용자별 가장 조화로운 메이크업 모습을 보여주게 되며, 이를 통해 자신에게 가장 어울리는 메이크업 아이템들을 능동적으로 선별할 수 있다.

영어초록

Recently, with the growth of the beauty industry, there has been increasing interest in personal colors that stand out in relation to individual beauty. With regard to an offline-based personal color diagnosis, experts conduct the diagnosis based on a sensory evaluation, while an online-based personal color diagnosis utilizes application-based methods that involve analyzing user-captured facial images. However, the online-based personal color diagnosis, widely used for its convenience and low cost, faces challenges related to accuracy due to factors such as lighting conditions and noise that arise when the user captures their facial image. Moreover, existing personal color diagnosis services lack the ability to provide a virtual makeup experience that closely resembles reality. This study aims to achieve consistent online personal color diagnosis results by proposing an algorithm that analyzes user-captured facial images in various color spaces and extracts representative skin colors. To ensure an accurate personal color analysis, potential hindrances to personal color diagnoses were eliminated using a YOLOv5-based object-recognition deep-learning model. Additionally, a clustering-based data analysis algorithm was employed to derive representative facial colors. Based on these representative facial colors, the study diagnosed personal color types and ultimately provided users with a virtual makeup function that enhances their aesthetic experience. The virtual makeup feature uses the BeautyGAN generative deep-learning model to show the most harmonious makeup styles for each user, enabling them to actively select makeup items that best suit their preferences.

참고자료

· 없음