InformationTheory에서 이산적 정보원 S, 출력심볼수를 r, 그 Entropy를 H(S)라고 했을 때,

$$ h(S)=\frac{H(S)}{\log_2{r}} $$

을 그 정보원의 RelativeEntropy라고 한다.

$$ r(S)=1-h(S) $$

를 그 정보원의 중복도, Redundancy라고 한다.

RelativeEntropy (last edited 2012-07-30 08:23:08 by 182)

web biohackers.net