신경망에서 엔트로피 최대화 원리의 의미 (Significance of the Entropy Maximization Principle in a Neural System)

서지정보

· 발행기관 : 한국물리학회
· 수록지 정보 : 새물리 / 69권 / 4호 / 338 ~ 347페이지
· 저자명 : 조명원

초록

신경망에서 진행되는 발화과정과 함께 학습 과정도 통계역학적인 방법론을 기반으로 표현할 수 있다.
자유에너지 경사하강법으로 신경망 학습규칙을 정의하는 경우 내부에너지의 미분 결과는 일반적으로 시냅스 양단의 신경세포들의 발화상태의 곱으로 구해지며, 이는 헤비안 규칙이라 불리는 기본적인 신경망 학습원리와 부합된다. 한편 엔트로피의 값을 높이려는 경향은 신경망이 보다 다양하고 적절한 기능을 습득하기위해 필요한 경쟁적 학습을 이끌 수 있을 것으로 기대된다. 하지만 신경망 모델에 따라 엔트로피는 조금씩다르게 유도되며, 이들을 최대화 하는 과정이 학습에 미치는 영향도 다르다. 이 논문에서는 자유에너지또는 엔트로피가 여러 신경망 모델들에서 어떻게 정의될 수 있는지를 살피고, 신경망 모델에서 원래의학습규칙과는 상관 없이 자유에너지 최소화를 신경망 학습을 진행했을 때 엔트로피가 신경망 학습에 미치는 영향을 정리하였다. 그리고 엔트로피로부터 적절한 경쟁적 학습이 유도되기 위해서 신경망 모델들이갖추어야 할 요소들에 대해 토의하였다.

영어초록

Both the firing and the learning process in a neural network can be described through the methodology in statistical mechanics. If the learning rule is defined as the gradient descent in the free energy, the derivative of the internal energy should be the product between the activities of the pre- and postsynaptic neurons in a synapse. This corresponds with the basic learning principle, the so-called Hebb’s rule. On the other hand, the derivative of the entropy is expected to bring about a competitive relationship between synapses, which is a requisite mechanism for a neural network to have diverse and proper functions. However, the entropy can be derived in a variety of forms depending on the models, and the maximization exerts different effects on the learning process. In this paper, we explore how the free energy or the entropy can be defined in several models and classify how the entropy affects the learning process when the learning rule is derived from the gradient descent on the free energy. Also, we discuss what characteristics a neural network model should have in order for a proper competitive learning rule to be derived from the entropy maximization process.

참고자료

· 없음