합성곱 신경망에서 이미지 분류를 위한 하이퍼파라미터 최적화 (Hyperparameter Optimization for Image Classification in Convolutional Neural Network)

서지정보

· 발행기관 : 한국융합신호처리학회
· 수록지 정보 : 융합신호처리학회 논문지 / 21권 / 3호 / 148 ~ 153페이지
· 저자명 : 이재은, 김영봉, 김종남

초록

합성곱 신경망 모형에서 높은 정확도를 얻기 위해서는 최적의 하이퍼파라미터를 설정하는 작업이 필요하다. 하지만 높은 성능을 낼 수 있는 하이퍼파라미터 값이 정확히 알려진 바가 없으며, 자료마다 최적의 하이퍼파라미터 값이 달라질 수 있기 때문에 매번 실험을 통해서 찾아야만 한다. 또한, 하이퍼파라미터 값들의 범위가 넓고 조합 수가 많기 때문에 시간과 계산량을 줄이기 위해서는 최적값을 찾기 위한 실험 계획을 먼저 한 후에 탐색을 하는 것이 필요하다. 그러나 아직까지 합성곱 신경망 모형에서 하이퍼파라미터 최적화를 위하여 실험계획법을 이용한 연구 결과가 보고되지 않았다. 본 논문에서는 이미지 분류 문제에서 통계방법 중 하나인 실험계획법의 요인배치법을 이용하여 실험 계획을 하고 합성곱 신경망 분석을 한 후에, 높은 성능을 갖는 값을 중심으로 그리드 탐색을 하여 최적의 하이퍼파라미터를 찾는 방법을 제안한다. 실험 계획을 통하여 각 하이퍼파라미터들의 탐색 범위를 줄인 후에 그리드 탐색을 함으로써 효율적으로 연산량을 줄이고 정확도를 높힐 수 있음을 보였다. 또한 실험 결과에서 모형 성능에 가장 큰 영향을 주는 하이퍼파라미터가 학습률이라는 것을 확인할 수 있었다.

영어초록

In order to obtain high accuracy with an convolutional neural network(CNN), it is necessary to set the optimal hyperparameters. However, the exact value of the hyperparameter that can make high performance is not known, and the optimal hyperparameter value is different based on the type of the dataset, therefore, it is necessary to find it through various experiments. In addition, since the range of hyperparameter values is wide and the number of combinations is large, it is necessary to find the optimal values of the hyperparameters after the experimental design in order to save time and computational costs. In this paper, we suggest an algorithm that use the design of experiments and grid search algorithm to determine the optimal hyperparameters for a classification problem. This algorithm determines the optima values of the hyperparameters that yields high performance using the factorial design of experiments. It is shown that the amount of computational time can be efficiently reduced and the accuracy can be improved by performing a grid search after reducing the search range of each hyperparameter through the experimental design. Moreover, Based on the experimental results, it was shown that the learning rate is the only hyperparameter that has the greatest effect on the performance of the model.

참고자료

· 없음