平均資訊量的計算公式是I=log2（1/p），其中p是概率，log2指以二爲底的對數。但對資訊量作深入而系統研究，還是從1948年C.E.香農的奠基性工作開始的。在資訊論中，認爲信源輸出的消息是隨機的。
資訊量與資訊熵在概念上是有區別的。在收到符號之前是不能肯定信源到底發送什麼符號，通信的目的就是使接收者在收到符號後，解除對信源存在的疑義（不確定度），使不確定度變爲零。這說明接收者從發送者的信源中獲得的資訊量是一個相對的量（H（U）-0）。而資訊熵是描述信源本身統計特性的物理量，它表示信源產生符號的平均不確定度，不管有無接收者，它總是客觀存在的量。
