수정 헤비안 규칙들에 대한 고찰 (Investigation of Modified Hebbian Rules)

서지정보

· 발행기관 : 한국물리학회
· 수록지 정보 : 새물리 / 71권 / 7호 / 579 ~ 592페이지
· 저자명 : 조명원

초록

신경망 이론에서 헤비안 규칙은 신경망의 자발적 비지도 학습을 설명하는 기본 원리이다. 하지만시냅스의 장기강화만을 고려하는 단순한 헤비안 규칙은 한계가 많기 때문에 이를 극복하기 위해 여러수정된 형태의 헤비안 규칙들이 제안되어 왔다. 완성된 형태의 수정 헤비안 규칙은 대뇌와 같이복잡한 신경계에서 안정적으로 이루어지는 고차적인 비지도 학습 과정을 설명할 수 있어야 하지만지금까지 제안된 규칙들은 한계가 많아서 간단한 신경망 구조에서 매우 제한된 학습만 수행할 수있다. 물리학적인 관점에서 본다면 보다 완성된 학습 이론은 임의의 복잡계에서 정보처리와 지적능력이 어떻게 자발적으로 출현할 수 있는지를 보편적이고 기본적인 원리들을 기반으로 설명할 수있어야 할 것이다. 이 논문에서 우리는 이전까지 제안된 수정 헤비안 규칙들의 특징들과 문제점들을고찰한다. 자유에너지 원리가 신경망의 자발적 학습을 설명하기 위하여 여러 이론들에서 어떻게 반영되었는지를 둘러 보고, 그 한계를 다룬다. 끝으로 최근 새롭게 제안된 보존성 원리에 기반한 규칙이 신경망 학습에 그러한 결함들을 어떻게 극복할 가능성이 있으며, 그 규칙이 가지는 어떠한 문제점들을 다룬다.

영어초록

The Hebbian rule is the main principle to explain voluntary and unsupervised learning in neural network theory. However, a simple Hebbian rule, with only long term potentiation, cannot achieve adequate learning processes so that several modified Hebbian rules have been suggested.
A complete modified Hebbian rule may explain how a brain-like complex neural system can stably engage the unsupervised learning process on a high level; however, most suggested rules encourage some simple learning problems in a simple structure. From the viewpoint of physics, the complete rule should explain, based on general and fundamental principles, how information processing and intelligence faculty can emerge voluntarily in a complex system. We investigate the characteristics and the defects of the modified Hebbian rules suggested previously. In particular, we survey how the free energy principle helps to explain the voluntary learning process in a neural system and discuss the limit of the principle. Finally, we discuss how a recently suggested rule based on the conservation principle, may be able to overcome the limit and what problems the rule has.

참고자료

· 없음