Diff for "EntropyFunction"

Differences between revisions 3 and 5 (spanning 2 versions)

InformationTheory에서 각 심볼의 발생Probability로 유도되는 Entropy 함수.

Zero-memory binary information source에서 S={0,1}로 주어질때 0과 1의 발생Probability를 p,q로 놓으면 p+q=1를 통해, p만의 함수를 유도할 수 있다.

$H(P) = p\log_2 \frac{1}{p} + (1-p)\log_2\frac{1}{1-p}$

이를 그래프로 그려보면, set ylab "H(x)"
set xlab "x"
set nokey
plot [0:1](x*log(1/x)/log(2))+((1-x)*log(1/(1-x))/log(2))

즉, 확률p가 0혹은 1인경우 정보량은 0이며, 1/2인경우 최대값 1이된다.

-  ⇤ ← Revision 3 as of 2006-03-07 19:47:49 → 
  Size: 605
  Editor: 203
  Comment:
+   ← Revision 5 as of 2012-05-14 11:04:18 → ⇥
  Size: 611
  Editor: 61
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 1:
-InformationTheory에서 각 심볼의 발생[Probability]로 유도되는 [Entropy] 함수.
+InformationTheory에서 각 심볼의 발생[[Probability]]로 유도되는 [[Entropy]] 함수.
 Line 3:
-Zero-memory binary information source에서 S={0,1}로 주어질때 0과 1의 발생[Probability]를 p,q로 놓으면 p+q=1를 통해, p만의 함수를 유도할 수 있다.
+Zero-memory binary information source에서 S={0,1}로 주어질때 0과 1의 발생[[Probability]]를 p,q로 놓으면 p+q=1를 통해, p만의 함수를 유도할 수 있다.