BioHackersNetClaudeShannon, NorbertWiener에 의해 확립된 정보이론.
http://www.lecb.ncifcrf.gov/~toms/
Information is a decrease in uncertainty.
정보라는 것은 물질, 에너지와 비견되는 것으로 공학을 떠받치고 있는 가장 근본적인 3대개념중의 하나. 정량화할수 있는것. 정보이론은 최초 통신이론에서 두가지 기본질문에 답하고자 시작되었다. 궁극적인 data compression은 무엇인가([Entropy] H), 궁극적인 통신전송속도는 무엇인가(ChannelCapacity C). 그후, ThermoDynamics의 통계역학에서, ComputerScience의 KolmogorovComplexity에서, [Statistics]의 OccamsRazor 추론에 이르기까지 널리 쓰이는 이론이 되었다.
정보량은 어떤 사항의 발생 [Probability]에 의존하는것이고 발생확률이 작을수록 커진다. 따라서 다음처럼 정의된다.
![$$ {I}({E}) = -\log_2 {P}({E}) \quad \textrm{[bit]} $$](/wiki/InformationTheory?action=AttachFile&do=get&target=030c13c8149963f4ed91f98eb76605a72bbb43a5_latex.png "$$ {I}({E}) = -\log_2 {P}({E}) \quad \textrm{[bit]} $$")
위 식에 의하면 주사위눈이 짝수라는건 1bit요, 주사위눈이 2라는건 2.58... bit라는걸 알 수 있다. 왜 하필 해당 [Probability]의 [Logarithm]을 쓰는가 하는 질문이 있을 수 있는데, 이것은 수학적으로 증명되어있다. 밑이 2라는건 0,1중 하나라는 의미며, [ConstantE]일 수도 있다.
문장따위의 정보에서 심볼당 평균 정보량을 [Entropy]라고 하며 MutualInformation과 관련되어 있다.
각종 자료들