손실함수 지형과 사이클로이드 곡선의 비교를 통한 최적화 수렴 속도와 안정성 분석 (Analysis of Optimization Convergence Speed and Stability Through a Comparison of Loss Landscape and Cycloid Curves)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 30권 / 9호 / 474 ~ 478페이지
· 저자명 : 이윤수, 유희빈, 이현도, 장병탁

초록

사이클로이드(Cycloid)는 원을 직선과 접한 상태로 회전시켰을 때 원 위의 한 점이 그리는 궤도이다. 사이클로이드는 두 가지 물리학적 특징을 가지는데, 첫 번째 특징은 최단 강하 곡선(Brachistochrone curve)으로, 중력장 내에서 물체를 굴렸을 때, 시작점과 끝점이 같은 모든 궤도 중 사이클로이드에서 가장 빨리 물체가 떨어진다는 점이다. 두 번째 특징은 등시곡선(Isochrone curve)으로, 사이클로이드의 어느 지점에서 물체를 떨어뜨려도 끝점에 도달하는 시간이 동일하다는 점이다. 본 연구는 이러한 사이클로이드의 특징을 손실함수 지형(Loss landscape)에 적용하여 분석한다. 본 연구는 이러한 사이클로이드의 특징을 이용해, 학습 손실함수의 지형이 사이클로이드와 유사할 때 손실이 빠르고 일정하게 수렴할 것이라고 주장한다. 이를 증명하기 위해, 평균제곱오차를 이용한 1,000번의 회귀분석 학습을 진행한 뒤 각 학습의 손실함수 지형이 사이클로이드와 얼마나 유사한지 비교한다.

영어초록

A cycloid is the path traced by a point on the circumference of a circle as it rolls along a straight line. It has two distinct physical characteristics. The first is the brachistochrone curve, which means that when an object is released from any point on the cycloid under the influence of gravity, it reaches the endpoint in the shortest amount of time compared to all other trajectories with the same start and end points. The second is the isochrone curve, which means that the time taken for an object to reach the endpoint remains constant regardless of the point along the cycloid from which it is released. This study suggests that when the terrain of the loss landscape resembles a cycloid, the convergence of the loss will be fast and consistent. In our experiments, we conducted 1,000 iterations of regression analysis using the mean squared error, and then compared the degree of similarity between the loss landscapes and cycloids.

참고자료

· 없음