인공지능 ) 1. 역전파와 순전파에 대해서 설명 2. 손실함수는 어떤 특성을 갖는가 3. 옵티마이저가 무엇인지 설명 4. 위의 4가지의 연관관계를 5줄 이내로 설명

목차

1. 역전파, 순전파란?

2. 손실함수의 특성

3. 옵티마이저란?

4. 역전파, 순전파, 손실함수, 옵티마이저의 관계

5. 참고자료

본문내용

1. 역전파, 순전파란?
이때 학습의 방향이 앞에서 뒤로 순차적으로 진행되는 학습을 순전파, 뒤에서 앞으로 학습이 진행되는 것을 역전파라고 한다. 조금 더 구체적으로 말하자면, 연산의 수행 방식에 따른 구분이라고 하는 것이 올바른 표현이 될 것이다. 딥러닝에서 순전파는 신경망 모델의 입력층부터 출력층까지 각 층의 순서대로 변수들을 계산하고 저장하는 것을 의미한다. 반면, 역전파는 신경망 모델의 출력층부터 입력층으로 변수들을 계산하며, 각각의 연산 과정에서의 값들을 업데이트하는 과정이다. 다른 말로 순전파 단계에서 수행된 연산의 오차를 기반으로 각 층의 가중치를 업데이트 하기 위함이다.

참고자료

· 밑바닥부터 시작하는 딥러닝, 사이토 고키, 한빛 미디어, 2017