시각화 오토인코더를 사용한 학습된 심층신경망의 잠재공간 조작 시스템 (A Method for Latent Space Control System of a Learned Deep Neural Network Using a Visualization Autoencoder)

서지정보

· 발행기관 : 한국엔터프라이즈아키텍처학회
· 수록지 정보 : 정보화연구 / 20권 / 4호 / 341 ~ 350페이지
· 저자명 : 고영민, 이은주, 민정익, 고선우

초록

최근에 생성모델, 특히 ChatGPT와 DALLE-3과 같은 생성모델들은 사회에 큰 영향을 미치며, 이러한 모델들의 잠재공간을 정교하게 조작하고 이해하는 기술이 중요해지고 있다. 본 논문에서는 학습된 생성모델의 잠재공간을 시각화하여 조작하는 새로운 방법인 “시각화 오토인코더” 방법을 제안한다. 이 방법은 생성모델의 잠재벡터를 입력으로 하여 3차원 이하의 시각화 가능한 차원으로 축소하여조작하는 것을 목표로 한다. 본 연구에서는 생성모델의 잠재공간 조작을 “관심 있는 샘플 생성”과 “샘플 간 변환 과정 시각화” 두 가지로 정의하고, 이를 위해 필요한 수학적 성질 “일대일 대응”과 “locally smoothness”를 가정한 심층신경망 기반의 생성모델로 제한한다. MNIST 데이터셋을 사용하여 실험한 결과 이러한 성질을 만족하는 심층신경망 모델에 대해 제안된 시각화 오토인코더 방법으로 관심있는 샘플을 생성, 변환 과정을 시각화할 수 있음을 확인하였다.

영어초록

Recent generative models, especially generative models such as ChatGPT and DALLE-3, have had a great impact on society, and technology to intricately manipulate and understand the latent space of these models is becoming important. In this paper, we propose the “Visualization Autoencoder” method, a new method that visualizes and manipulates the latent space of the learned generative model. This method aims to manipulate the latent vectors of the generative model by reducing them to three or less dimensions that can be visualized. In this study, the latent space manipulation of the generative model is defined as two types: “generating samples of interest” and “visualizing the transformation process between samples”. For this purpose, we limit ourselves to a deep neural network-based generative model that assumes the necessary mathematical properties “one-to-one correspondence” and “locally smoothness”. As a result of experiments using the MNIST dataset, we confirmed that the proposed visualization autoencoder method for a deep neural network model that satisfies these properties can generate samples of interest and visualize the conversion process.

참고자료

· 없음