태스크 점진 학습에서의 적대적 생성 신경망과 베이지안 신경망을 활용한 모델 재생성 (Re-Generation of Models via Generative Adversarial Networks and Bayesian Neural Networks for Task-Incremental Learning)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 12호 / 1115 ~ 1123페이지
· 저자명 : 강한얼, 최동완

초록

지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.

영어초록

In contrast to the human ability of continual learning, deep learning models have considerable difficulty maintaining their original performance when the model learns a series of incrementally arriving tasks. In this paper, we propose ParameterGAN, a novel task-incremental learning approach based on model synthesis. The proposed method leverages adversarial generative learning to regenerate neural networks themselves which have a parameter distribution similar to that of a pre-trained Bayesian network. Also, using pseudo-rehearsal methods, ParameterGAN enables continual learning by regenerating the networks of all previous tasks without catastrophic forgetting.
Our experiment showed that the accuracy of the synthetic model composed of regenerated parameters was comparable to that of the pre-trained model, and the proposed method outperformed the other SOTA methods in the comparative experiments using the popular task-incremental learning benchmarks Split-MNIST and Permuted-MNIST.

참고자료

· 없음