BioHackersNetClaudeShannon, NorbertWiener에 의해 확립된 정보이론.
http://www.lecb.ncifcrf.gov/~toms/
Information is a decrease in uncertainty.
정보라는 것은 물질, 에너지와 비견되는 것으로 공학을 떠받치고 있는 가장 근본적인 3대개념중의 하나. 정량화할수 있는것. 정보이론은 최초 통신이론에서 두가지 기본질문에 답하고자 시작되었다. 궁극적인 data compression은 무엇인가(Entropy H), 궁극적인 통신전송속도는 무엇인가(ChannelCapacity C). 그후, ThermoDynamics의 통계역학에서, ComputerScience의 KolmogorovComplexity에서, Statistics의 OccamsRazor 추론에 이르기까지 널리 쓰이는 이론이 되었다.
정보량은 어떤 사항의 발생 Probability에 의존하는것이고 발생확률이 작을수록 커진다. 따라서 다음처럼 정의된다.
![$$ {I}({E}) = -\log_2 {P}({E}) \quad \textrm{[bit]} $$](/wiki/InformationTheory?action=AttachFile&do=get&target=030c13c8149963f4ed91f98eb76605a72bbb43a5_latex.png "$$ {I}({E}) = -\log_2 {P}({E}) \quad \textrm{[bit]} $$")
위 식에 의하면 주사위눈이 짝수라는건 1bit요, 주사위눈이 2라는건 2.58... bit라는걸 알 수 있다. 왜 하필 해당 Probability의 Logarithm을 쓰는가 하는 질문이 있을 수 있는데, 이것은 수학적으로 증명되어있다. 밑이 2라는건 0,1중 하나라는 의미며, ConstantE일 수도 있다.
문장따위의 정보에서 심볼당 평균 정보량을 Entropy라고 하며 MutualInformation과 관련되어 있다.
각종 자료들