기계학습의 하이퍼파라미터 최적화 연구 동향 (A Survey on Hyperparameter Optimization in Machine Learning)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 48권 / 6호 / 733 ~ 747페이지
· 저자명 : 원종현, 신종민, 김재호, 이장원

초록

최근 다양한 분야에서 주목받고 있는 기계학습의 성능은 기계학습 모델의 하이퍼파라미터에 의존한다. 이에 따라 기계학습의 성능을 향상시키기 위해서는 최적의 하이퍼파라미터를 찾는 것이 중요하다. 기계학습의 하이퍼파라미터 최적화는 최적화 문제의 목적 함수와 결정 변수들의 특징 때문에 풀이에 어려움이 많으며, 하이퍼파라미터최적화의 알고리즘들은 이러한 어려움을 해결하는 방향으로 연구되고 있다. 본 논문에서는 기계학습의 하이퍼파라미터 최적화의 난점을 분석하고, 이를 해결하기 위해 제안된 하이퍼파라미터 최적화 연구들의 동향을 파악한다.
또한 이를 바탕으로 기계학습의 성능을 더 향상시키기 위해 앞으로 기계학습의 하이퍼파라미터 최적화 연구가 나아갈 방향을 제시한다.

영어초록

Machine learning (ML) has recently attracted attention in various fields and the performance of an ML model highly depends on its hyperparameters. Accordingly, it is important to find the optimal hyperparameters to improve its performance. However, there are many difficulties in hyperparameter optimization (HPO) due to some characteristics of its objective functions and decision variables and lots of studies on algorithms for HPO have been conducted to solve those difficulties. In this paper, we analyze the difficulties of HPO in ML and present the trends of recent studies on HPO. In addition, we present a future direction for HPO in ML to further improve the performance of ML.

참고자료

· 없음