정보이론 기말고사, 라그랑주 승수

소개

"정보이론 기말고사, 라그랑주 승수"에 대한 내용입니다.

목차

1. (문제1) 라그랑쥬 승수를 (Lagrange Multiplier) 이용하여 맥시멈 엔트로피 원칙에 맞는 확률 분포를 구할 때 108쪽의 식 (9.12)처럼 확률분포를 α와 β의 지수형식으로 가정하는 이유를 설명하시오.

2. (문제2) 결과값으로 입력 분포를 추정하는 예를 일상 생활에서 찾아 제시하고, 정보이론을 배운 학생으로서 가져야할 태도에 대해 설명하시오.
1) 가족력이 있을 경우 유전자 보유확률 50%, 혈액검사 오진률 6%, 양성판정을 받았을 경우
2) 가족력이 없을 경우 유전자 보유확률 2%, 혈액검사 오진률 6%, 양성판정을 받았을 경우

본문내용

자연현상의 많은 사례들이 정규분포로 모델링 되고 이러한 현상들을 Entropy로 설명하는 경우가 많습니다. 자연현상이란 한가지의 확률변수가 아닌 여러 확률변수가 모여 결과를 이루는 현상을 의미합니다. Entropy란 무질서도를 의미하고 모든 자연현상은 무질서도가 최대가 되는 방향으로 이루어집니다. 예를 들어 동전에서 앞면과 뒷면이 나올 확률이 각각 0.7, 0.3 일 때보다 0.5, 0.5일 때 엔트로피가 가장 크게 됩니다. 즉, 각 사건에 대한 불확실한 정보를 배제하여 엔트로피를 구하는 것이 최대 엔트로피 principle 입니다. 이러한 Maximum entropy의 경우 여러 변수에 의해 영향을 받는데 3개이상의 변수가 있으면 연립을 통해 구하는 것이 어렵게 됩니다.

참고자료

· 없음