Shannon의 정보이론

소개글

정보학자 Claude Elwood Shannon의 정보이론에 대한 보고서
Shannon의 정보이론, 커뮤니케이션, 엔트로피, 잉여정보, 잡음에 대한 정보 수록

목차

1. Shannon의 정보이론
2. 커뮤니케이션
3. 엔트로피
4. 잉여정보
5. 잡음
6. 참고문헌

본문내용

[Shannon의 정보이론]은 벨연구소의 연구원이었던 클로드 섀넌(Claude Elwood Shannon)이 1948년 [통신의 수학적 이론(A Mathematical Theory of Communication)]이라는 논문을 발표하면서 등장했다. 이 논문에서 Shannon은 정보를 수량적으로 다루는 방법을 고찰하여 정보량(Information Content)의 정의를 세우고 이것을 통해 통신의 효율화를 비롯한 정보전달의 여러 가지 문제를 해결할 수 있는 이론적 기초를 제공했다. 정보단위로서 Shannon은 2진법과 비트를 택했다. 1비트는 2가지의 같은 확률을 가진 메시지 중 하나의 선택이다. 예를 들어 `A는 B이냐?‘ 는 질문에 대해 ’예‘, 혹은 ’아니오‘의 답이 가능하다. ’예‘는 메시지를 받은 사람의 마음속에 있는 모든 불확실성을 제거해주는데, 그 이유는 그는 가능한 두 선택지 가운데 어느 하나가 답이라는 것을 알고 있기 때문이다. ’아니오‘라는 답도 모든 불확실성을 제거해주는데 답이 첫 번째 것이 아니라 두 번째 것이라는 것을 알 수 있기 때문이다. Shannon의 정보이론에서 말하는 ‘정보’란 개념은 일반적으로 우리가 말하는 정보의 개념과는 다르다. 채널을 통해 전송되거나 컴퓨터 내에서 처리되는 메시지는 우리가 일반적으로 사용하는 자연어가 아니라 코딩된 형태이다. 즉, 정보이론에서의 정보량은 실질적으로는 메시지를 이진수 <0과1>로 코딩하는데 필요한 최소한의 자릿수에 해당한다. Shannon은 [통신의 수학적 이론(A Mathematical Theory of Communication)]에서 다음과 같은 문제를 제기하고 답을 제시한다.

참고 자료

Shannon의 정보이론과 문헌정보, 정영미
정보통신기술용어해설, KTword
전기전자컴퓨터 공학의 노벨상이 있다면?, 싸이언스키드
Understanding Human Communication, Adler·Rodman
통신시스템 공학, 강병권