정보이론
-
정보이론 간단 요약Math/Pattern Recognition & Machine Learning 2021. 8. 10. 15:20
정보이론의 핵심 : 발생하기 어려운 사건들을 배우는 것들이 발생하기 쉬운 사건을 배우는 것보다 더 많은 정보를 얻을 수 있다는 것이다. 예를 들어 오늘 아침에 해가 떴다. 라는 말은 모두가 아는 사실임으로 정보가 매우 적다. 그러나 오늘 아침에 일식이 일어났다는 사실은 정보가 훨씬 많다. 정보량(Information) 특정 사건 x의 정보를 정의하기 위해 다음과 같이 자기 정보를 정의한다. $$I(x) = -\log P(x)$$ 사건 x의 정보량은 확률이 1/e 인 사건을 관측해서 얻은 정보의 양이다. 엔트로피(Entropy) 특정 사건들을 모두 모은 집합 X에 대한 정보량을 엔트로피라고 하며 이는 다음과 같이 정의된다. $$H(X) = \Bbb E_{x\sim P}[I(x)] = - \Bbb E_{x\..