관계적 메모리 코어 구조를 적용한 변분적 순환신경망 (Variational Recurrent Neural Networks with Relational Memory Core Architectures)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 47권 / 2호 / 189 ~ 194페이지
· 저자명 : 김건형, 서석인, 김신형, 김기응

초록

순차적 데이터(sequential data)를 위한 생성모델(generative model) 학습을 위해서 순환신경망(RNN; recurrent neural network) 기반의 모델들이 제안되고 있는 가운데, 순환신경망에 변분오토인코더(VAE; variational autoencoder) 의 요소를 도입하여 복잡한 순차적 데이터 분포를 표현 가능하게 하는 변분적 순환신경망(VRNN; variational recurrent neural network)이 제시된 바 있다. 한편, 최근 셀프어텐션(self-attention) 기반의 메모리 구조를 RNN에 도입하여 입력 간의 관계를 고려할 수 있는 구조를 가진 관계적 메모리 코어(RMC; relational memory core)가 제안되어 순차적 데이터 처리에 있어서 성능을 높인 바 있다. 이 논문에서는 관계적 메모리 코어 구조를 VRNN에 도입해 순차적 입력데이터들 간에 한층 심화된 관계적 추론을 가능하게 하는 모델인 변분-관계적 메모리 코어(VRMC; varitional relational memory core)를 제안한다. 또한, 음악생성 데이터 기반의 실험을 통해 기존 VRNN보다 비해 성능이 나아짐을 보이고 이를 통해 본 연구에서 제시한 모델이 순차적 데이터를 모델링하는 데 있어서 더 효과적임을 보이려 한다.

영어초록

Recurrent neural networks are designed to model sequential data and learn generative models for sequential data. Therefore, VRNNs (variational recurrent neural networks), which incorporate the elements of VAE (variational autoencoder) into RNN (recurrent neural network), represent complex data distribution. Meanwhile, the relationship between inputs in each sequence has been attributed to RMC (relational memory core), which introduces self-attention-based memory architecture into RNN memory cell. In this paper, we propose a VRMC (variational relation memory core) model to introduce a relational memory core architecture into VRNN. Further, by investigating the music data generated, we showed that VRMC was better than in previous studies and more effective for modeling sequential data.

참고자료

· 없음