InformationTheory에서 각 심볼의 발생Probability로 유도되는 Entropy 함수.
Zero-memory binary information source에서 S={0,1}로 주어질때 0과 1의 발생Probability를 p,q로 놓으면 p+q=1를 통해, p만의 함수를 유도할 수 있다.
이를 그래프로 그려보면,
즉, 확률p가 0혹은 1인경우 정보량은 0이며, 1/2인경우 최대값 1이된다.
InformationTheory에서 각 심볼의 발생Probability로 유도되는 Entropy 함수.
Zero-memory binary information source에서 S={0,1}로 주어질때 0과 1의 발생Probability를 p,q로 놓으면 p+q=1를 통해, p만의 함수를 유도할 수 있다.
이를 그래프로 그려보면,
즉, 확률p가 0혹은 1인경우 정보량은 0이며, 1/2인경우 최대값 1이된다.
EntropyFunction (last edited 2012-05-14 11:04:18 by 61)