교차엔트로피, 소프트맥스 함수 조사 보고서

소개

딥러닝에서 자주 등장하는 교차엔트로피와 소프트맥스 함수에 대한 조사보고서입니다.

목차

1. 교차엔트로피 오차란?
1) 정의
2) 적용분야
3) 교차 엔트로피 오차 수식의 특징
4) 교차 엔트로피에 마이너스 부호를 붙이는 이유
5) 교차 엔트로피 조정

2. 교차엔트로피 오차의 계산 예제

3. 소프트맥스
1) 절대확률값에 의한 모델평가의 문제점
2) 문제해결 방법

4. 소프트맥스 계산 예제

5. 소프트맥스 함수의 조정

6. 참고문헌

본문내용

1. 교차엔트로피 오차란?
1) 정의
교차엔트로피 오차란 CEE(Cross Entropy Error)라고 한다. 주로 Softmax를 활성화 함수로 사용하는 경우에 주로 사용되는 손실함수(cost function)이라고 한다.

2) 적용분야
교차엔트로피는 Label의 값이 One Hot Encoding(원핫인코딩)일때만 사용이 가능하다는 것을 알고 있어야 한다.

3) 교차 엔트로피 오차 수식의 특징
교차 엔트로피 오차 수식은 다음과 같으며 실제 정답에 해당하는 y는 원핫인코딩되어 있으므로 한 개 요소값만 1이고 나머지는 모두 0이 되어야 한다.

참고자료

· 텐서플로우 블로그, https://tensorflow.blog/
· 블로그, http://worthpreading.tistory.com