본문내용
1. 인공지능과 최적화
1.1. 경사하강법
1.1.1. 요약설명
경사하강법은 인공지능의 딥러닝에 이용되는 핵심 알고리즘으로, 입력값이 변했을 때 함수의 출력값이 어떻게 달라지는지 정량적으로 파악하기 위해 미분이 적용된다. 손실함수를 미분하면 특정 지점에서의 기울기를 알 수 있으며, 이 기울기의 절댓값이 작아지는 방향으로 지점을 옮기면 손실함수의 최솟값을 찾을 수 있다. 이러한 방식으로 최적의 예측 모형을 구하는 것이 경사하강법의 핵심 원리이다.
경사하강법을 이해하기 위해서는 편미분 개념이 필요한데, 편미분은 여러 변수로 이루어진 함수에서 각 변수에 대한 도함수를 구하는 방법이다. 이를 통해 다변수 함수의 기울기 벡터, 즉 각 변수에 대한 기울기를 파악할 수 있다. 기울기 벡터의 크기가 클수록 기울기가 급하며, 최솟값에 가까워진다는 것을 의미한다. 따라서 경사하강법은 기울기 벡터의 방향으로 조금씩 이동하면서 손실함수의 최솟값을 찾아가는 방식으로 동작한다.
이처럼 경사하강법은 미분을 활용하여 최적의 예측 모형을 찾는 알고리즘으로, 인공지능 분야에서 핵심적인 역할을 하고 있다. 이를 통해 대용량 데이터를 효과적으로 학습하고 최적화할 수 있게 되었으며, 4차 산업혁명 시대의 핵심 기술로 자리잡게 되었다.
1.1.2. 편미분
우리가 지금까지 배웠던 일반적인 미분은 '상미분'으로 변수가 1개만 있는 함수였다. 하지만 인공지능에서 사용하는 함수는 파라미터(매개변수)가 많기 때문에 함수가 매우 복잡합니다. 따라서 상미분을 하는 1변수 함수는 거의 없고, 여러 개의 변수를 미분하는 '편미분'이 더 중요하다"".()
'편미분'은 주로 미분하는 변수 하나를 지정하고, 다른 변수는 상수로 다룬다. 예를 들어 f(x, y)의 경우 x, y 각각을 기준으로 두면 도함수 2개를 계산해 x, y 각각에서의 기울기 2개(미분계수 2개)를 구할 수 있다"".(
1.1.3. 기울기 벡터
'기울기 벡터'는 편미분을 통해 얻은 변수 각각의 기울기를 의미하며, 이는 방향이 있는 기울기 2개를 가지게 된다는 것을 의미한다.
편미분은 변수 각각의 기울기를 계산하는 것이므로, 방향이 있는 기울기 2개를 얻게 된다. 이때 이 2개의 기울기는 벡터쌍을 이루게 되며, 이를 '기울기 벡터'라고 부른다.
여기서 기울기는 접선의 기울기로, 미분계수가 0인 지...
