확률분포를 엔트로피로 표현하기

소개

"확률분포를 엔트로피로 표현하기"에 대한 내용입니다.

목차

엔트로피는 불확실성의 척도이다
.열역학에서의 엔트로피
정보이론에서의 엔트로피
확률분포를 엔트로피로 표현하기
열역학과 정보이론에서의 엔트로피의 단위와 그 의미
확률분포의 엔트로피와 그 의미

본문내용

엔트로피는 불확실성의 척도이다
엔트로피의 기본적 개념은 불확실성의 척도이다. 불확실성이란, 어떤 사건이 일어날지 아닐지 모르는 일, 즉 예측하기 어려움의 정도를 의미한다. 엔트로피는 이런 불확실성, 즉 예측하기 어려움의 정도를 나타내는 척도이다.
예를 들어, 동전 던지기를 생각해보자. 앞면이 나올 확률이 50%, 뒷면이 나올 확률도 50%이다. 이 경우, 우리는 동전 던지기 결과에 대해 사전에 확신할 수 없다. 결과가 불확실하므로, 이런 상황의 경우 엔트로피가 높다고 말한다. 무질서하다고도 볼 수 있는 것이다.
반면 100번의 동전을 던져서 99번 앞면이 나왔다면, 다음 동전던지기에서 앞면이 나올 확률이 거의 100%라고 예측할 수 있다. 이 경우 불확실성이 매우 낮으니, 엔트로피는 낮은 것이다.
이렇듯 엔트로피는 우리가 상황을 얼마나 확실하게 예상할 수 있는지를 나타내는 척도라고 할 수 있다. 이러한 엔트로피의 개념은 확률분포를 분석하는 데 굉장히 중요한 역할을 한다. 왜냐하면, 확률분포 역시 사건의 불확실성을 다루는 것이기 때문이다.
하지만 이것이 모든 엔트로피의 의미를 다 담고 있는 것은 아니다. 열역학과 같은 전통적인 개념에서의 엔트로피는 물론 다양한 분야에서의 엔트로피 또한 중요한 개념이다.

열역학에서의 엔트로피
열역학에서의 전통적인 엔트로피는 상태의 무질서함을 나타내는 물리적 척도로 사용된다. 골고루 섞인 국물에서 양념과 국물이 따로 분리되는 일은 일어나지 않는다. 안정된 상태로의 이동, 즉 자연스럽게 섞이는 무질서한 상태로의 방향성 있는 이동은 자연스럽게 일어나는 한편, 그 반대로의 과정은 일어나지 않는것이다. 이는 엔트로피 증가의 법칙을 잘 보여주는 사례이다.

참고자료

· 없음