AI 속 미적분 원리, 경사하강법 속 미적분, 공식 분석, 코드 구현

목차

1. 경사하강법

2. 경사하강법 알고리즘
2.1. 기본 경사하강법(Gradient Descent)
2.2. 확률적 경사하강법(SGD: Stochastic Gradient Descent)
2.3. 모멘텀
2.4. RMSprop

3. 기본 경사하강법 파이썬 코드 구현

4. 인공지능 학습 속 수학의 중요성

본문내용

1. 경사하강법
최적화란 어떤 함수의 출력 값이 최대 또는 최소가 되는 지점을 찾는 과정이다. 모델이 예측한 값과 실제 값 사이의 차이인 손실 함수(lost function)의 값을 최소화하는 것이 최적화 과정의 핵심이다. 비용 함수는 가중치와 편향 등 여러 변수를 포함한 다변수 함수이다. 학습 중인 모델이 예측한 값과 실제 값의 차이인 손실 함수의 값이 의미하는 것은 모델의 오차이다. 이 오차는 손실 함수를 통해 분석하며, 발생한 오차가 최소가 되도록 하는 것이 최적화, 즉 인공지능 학습 과정이다. 최적화를 통해 찾아낸 최적화 값은 역전파 등의 알고리즘을 통해 가중치 등 인공지능의 성능을 결정하는 변수를 수정하는데 사용된다.
경사하강법(Gradient Descent)은 손실 함수의 값을 최소로 만드는 입력값을 찾기 위해 널리 사용되는 최적화 알고리즘이다.
경사 하강법은 함수의 기울기, 즉 미분 값을 이용해 손실 함수가 가장 빠르게 감소하는 방향(경사가 가장 가파른 방향)으로 파라미터(인공지능 성능에 영향을 주는 변수)를 반복적으로 조정하는 방법이다. 즉, 손실 함수 상에서 경사가 가장 가파른 방향으로 조금씩 이동하는 과정을 반복하면, 가장 낮은 지점(최소값)에 도달하게 된다는 아이디어를 적용한 것이다.

2. 경사하강법 알고리즘
경사하강법에는 다양한 변형 알고리즘이 존재한다. 경사하강법 알고리즘들은 다차원 함수 상에서 가장 가파른 방향을 찾는 것을 기본 원리로 하기 때문에 일반적으로 미분을 활용한다는 공통점이 있다.

참고자료

· 없음