부드러운 소프트맥스 함수를 적용한 신경망 앙상블 개선 (Improved Neural Network Ensemble Technique using Smoothed Softmax Function)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 24권 / 4호 / 1 ~ 15페이지
· 저자명 : 이재민, 최태영

초록

분류 문제를 인공지능 방식으로 해결할 때 앙상블은 그 성능을 높이는 기법으로 자주 활용된다. 하지만, 선택된 클래스의 비중을 확률분포로 바꾸는 일반적인 softmax의 확률분포를 그대로 앙상블에 적용하면 softmax내 지수함수의 영향으로 가장 높은 비중을 가진 클래스의 확률이 상대적으로 너무 높아지는 문제가 발생하여 앙상블의 효과를 감소시킬 수 있다. 본 논문에서는 softmax의 이러한 문제점을 완화하기 위해 스무딩 인자를 도입한 smoothed softmax를 제안하며, 이를 통해 앙상블 성능이 개선될 수 있음을 보여준다. 또한 논문에서는 coarse label로 학습한 신경망을 앙상블에 포함하고, 앙상블을 교사 모델로 사용하여 작은 크기의 학생 모델 신경망에 지식 증류할 때 smoothed softmax가 신경망의 정확도를 높임을 보인다. 논문에서 제안한 smoothed softmax는 기존의 softmax를 적용한 경우와 비교해서 fine label로 학습한 신경망으로 앙상블했을 때는 정확도가 1.38% 증가했으며, coarse label로 학습한 신경망이 앙상블에 추가되었을 때는 정확도가 5.21% 증가하였고, 앙상블 신경망을 지식 증류를 통해 그 크기를 감소시켰을 때는 정확도가 최대 7.0%까지 증가하였다.

영어초록

When solving classification problems with AI, Ensembles are often used as a technique to improve performance. However, if the probability distribution of general softmax, which changes the weight of selected classes into a probability distribution, is applied to the ensemble as it is, the probability of the class with the highest weight becomes too high value because of the effect of the exponential function in softmax, which reduces the effectiveness of the ensemble. In this paper, we propose smoothed softmax which introduces a smoothing factor to alleviate the problem of softmax, and show that the ensemble performance can be improved. The paper also shows that smoothed softmax improves the accuracy of the neural network when a neural network trained with coarse labels is included in the ensemble, and the ensemble is used as a teacher model to distill knowledge into a small-sized student model neural network. Compared to the conventional softmax, the smoothed softmax proposed in the paper increased the accuracy by 1.38% when it is ensembled with a neural network trained with fine labels, increased the accuracy by 5.21% when a neural network trained with coarse labels was added to the ensemble, and increased the accuracy by up to 7.0% when the ensemble neural network was reduced in size through knowledge distillation.

참고자료

· 없음