가중치 미러링과 직접 피드백 오차를 이용한 신경망 학습법 (Neural Network Learning Method usingWeight Mirroring and Direct Feedback Error)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 51권 / 5호 / 445 ~ 453페이지
· 저자명 : 이소하, 양희성, 박혜영

초록

오류 역전파 알고리즘은 신경망의 핵심적인 학습 알고리즘으로 최근에도 다양한 딥러닝 모델에서 사용되고 있다. 그러나 오류 역전파 학습에서 상위층 오차 신호가 하위층으로 순차적으로 전달되면서 상위층의 가중치 정보가 하위층 가중치 업데이트에 사용되는 방식은 생물학적 타당성의 결여와 계산 효율성 저하의 문제가 지적되어왔다. 이러한 문제들을 개선하기 위하여 역방향 가중치를 별도로 사용하는 학습 방법론들이 제안되었으나 아직 초기 연구에 머물고 있으며 다양한 관점에서의 분석이 필요하다. 본 논문에서는 상위층의 오차를 하위층으로 직접 투사하는 직접 피드백 정렬 방법과 별도의 역방향 가중치를 업데이트하는 단계를 가지는 가중치 미러 방법을 결합하여 새로운 학습 방법을 제안한다. 제안하는 방법은 기존의 두 알고리즘이 가지던 한계를 극복하여 생물학적으로 타당하며 효율적인 병렬 학습이 가능한 가중치 업데이트 방법을 구현한다. 여러 벤치마크 데이터에 대한 실험을 통하여 제안하는 방법의 가능성을 확인하였다.

영어초록

Error backpropagation algorithm is a core learning algorithm of neural networks and, until recently, has been used in various deep learning models. However, the weight update rule of error backpropagation, in which the error signal of the upper layer is sequentially transmitted to the lower layer and the weight values of the upper layer that are used to update the lower layer weights, has a problem of biological implausibility and computational inefficiency. To address these issues, learning methods using separate backward weights have been proposed, but they are still at an early stage and require further analysis and improvement from various perspectives. In this paper, we proposed a new learning method by combining the direct feedback alignment method, which directly projects the errors of the last layer into each hidden layer, and a weight mirror method with a separate step for updating backward weights. The proposed method overcomes the limitations of learning methods to implement a weight update method that is biologically plausible and allows for more efficient parallel learning. We confirmed the potential of the proposed method through experiments on various benchmark datasets.

참고자료

· 없음