ClaudeShannon, NorbertWiener에 의해 확립된 정보이론.

http://www.lecb.ncifcrf.gov/~toms/ 

Information is a decrease in uncertainty.

정보라는 것은 물질, 에너지와 비견되는 것으로 공학을 떠받치고 있는 가장 근본적인 3대개념중의 하나. 정량화할수 있는것. 정보이론은 최초 통신이론에서 두가지 기본질문에 답하고자 시작되었다. 궁극적인 data compression은 무엇인가([[Entropy]] H), 궁극적인 통신전송속도는 무엇인가(ChannelCapacity C). 그후, ThermoDynamics의 통계역학에서, ComputerScience의 KolmogorovComplexity에서, [[Statistics]]의 OccamsRazor 추론에 이르기까지 널리 쓰이는 이론이 되었다.

----
정보량은 어떤 사항의 발생 [[Probability]]에 의존하는것이고 발생확률이 작을수록 커진다. 따라서 다음처럼 정의된다.

{{{#!latex
$$ {I}({E}) = -\log_2 {P}({E}) \quad \textrm{[bit]} $$
}}}

위 식에 의하면 주사위눈이 짝수라는건 1bit요, 주사위눈이 2라는건 2.58... bit라는걸 알 수 있다. 왜 하필 해당 [[Probability]]의 [[Logarithm]]을 쓰는가 하는 질문이 있을 수 있는데, 이것은 수학적으로 증명되어있다. 밑이 2라는건 0,1중 하나라는 의미며, [[ConstantE]]일 수도 있다.

문장따위의 정보에서 심볼당 평균 정보량을 [[Entropy]]라고 하며 MutualInformation과 관련되어 있다.
----
각종 자료들
 * InformationTheoryPrimer
 * MathematicalTheoryOfCommunication
 * ElementsOfInformationTheory
 * [[http://hornacek.coa.edu/dave/Tutorial/index.html|Information Theory, Excess Entropy and Statistical Complexity]]