1. 정보이론에서의 '엔트로피'사용 정보 이론에서의 엔트로피는 어떤 사건이 정보적 측면에서 얼마나 중요한가를 반영한 로그 지표에 대한 기댓값을 의미합니다. 낮은 확률 값(큰 엔트로피를 가진 사건)은 드물게 발생한다는 것을 의미하며, 이는 귀한 정보를 나타냅니다. 반면 높은 확률 값(작은 엔트로피를 가진 사건)은 자주 발생한다는 것을 의미하며, 이는 흔한 정보를 나타냅니다. 2. 화학에서의 엔트로피 화학에서 '자발적'이란 충분한 시간이 주어졌을 때 외부의 간섭이 없이도 스스로 일어나는 변화를 의미합니다. 이러한 '자발적' 과정에는 에...

1. 확률분포와 엔트로피 확률분포를 엔트로피로 표현하면 그 분포가 나타내는 불확실성의 정도를 수치화할 수 있다. 높은 엔트로피 값은 결과를 예측하기 어려운 상황을 의미하며, 낮은 엔트로피 값은 결과를 상대적으로 쉽게 예측할 수 있음을 나타낸다. 이를 통해 분석하고자 하는 대상에 대한 심도 있는 이해와 신뢰성 있는 예측 및 의사결정을 할 수 있다. 2. 열역학에서의 엔트로피 열역학에서의 엔트로피는 시스템의 무질서함 또는 혼돈의 정도를 나타내는 척도이다. 엔트로피 증가의 법칙에 따르면 고립된 시스템의 엔트로피는 시간이 지남에 따라 증가...

1. 정보전달의 무결성 통신에서 무결성이란 정보가 변형되지 않고 전달되는 것을 의미한다. 음성은 약간의 변형을 허용하지만, 데이터는 1비트의 변형으로도 심각한 오류가 발생할 수 있다. 이를 해결하기 위해 정보의 추상명사를 정량화하여 원하는 정보를 높은 확률로 전달할 수 있는 기전이 마련되었다. 정보 전달의 무결성을 위해 아스키 코드와 비트 단위 부호화가 사용되며, 작은 단위의 비트를 사용하는 것이 무결성 유지에 좋다. 2. 채널 모호도 채널 모호도는 정보량이 입력부터 출력까지 전달되는 것을 의미한다. 입력 엔트로피는 입력으로부터 들...