CoS: 딥러닝을 위한 시그모이드로 구성한 강조된 부드러운 비단조성 활성 함수 (CoS: An Emphasized Smooth Non-Monotonic Activation Function Consisting of Sigmoid For Deep Learning)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 19권 / 1호 / 1 ~ 9페이지
· 저자명 : 한준, 강대성

초록

활성 함수는 신경망의 성능에 영향을 주는 중요한 구성요소이다. 기존의 계단, 시그모이드, 하이퍼볼릭 탄젠트, ReLU와 같은 활성 함수들은 학습에 중요한 미분이 되지 않거나 기울기가 소실되는 등의 문제점이 있다. 하지만 Swish 활성 함수는 비단조성을 가지는 부드러운 곡선과 음의 경계값을 가지는 특성으로 기존의 문제점을 해결하였다. 이와 같은 특성을 기반하여 본 논문에서는 부드러운 곡선 부분을 추가하여 비단조성을 더욱 강조하고 음의 경계값을 가지는 특성을 줄이면서 신경망 안에서 정보의 흐름을 개선한 CoS(Consisting of Sigmoid)함수를 제안한다. 제안하는 방법을 통해 기존의 ReLU 보다 0.46%~0.77%, Swish보다는 0.38%~0.54%의 정확도 개선에 따른 성능 향상을 확인하였다.

영어초록

Activation functions are important components that affect the performance of neural networks. Activation functions such as Step, Sigmoid, Tanh, and ReLU have problems such that the important differentiation is not possible or the gradient is vanishing. Activation function Swish solved the problem with Characteristic of a smooth non-monotonic curves and boundary value of negative. Based on these characteristics, in this paper, we propose a Consisting of Sigmoid(CoS) function adding a smooth emphasized non-monotonic curves part and reducing negative results on negative inputs and improving the flow of information within the neural network. Through the proposed method, it was certain that accuracy is improved by 0.46%~0.77% and 0.38%~0.54% over the existing ReLU and Swish.

참고자료

· 없음