人類的生存、發(fā)展，除了與外界有物質(zhì)和能量的交換外還必須有信息的交換。

信息是什么？

《辭?！穼?duì)信息的定義：“信息是指對(duì)消息接收者來說預(yù)先不知道的報(bào)導(dǎo)。”

熵與信息

事實(shí)上，信息已成為現(xiàn)代科學(xué)技術(shù)普遍使用的一個(gè)概念。作為日常用語，指音信、消息；作為科學(xué)技術(shù)用語，可以簡(jiǎn)單地理解為消息的接受者預(yù)先不知道的報(bào)導(dǎo)；作為一個(gè)社會(huì)概念，信息則是指人類共享的一切知識(shí)，或從社會(huì)發(fā)展趨勢(shì)以及客觀現(xiàn)象中提煉出來的各種信息之總和。

信息是日常生活的常見現(xiàn)象，是事物表現(xiàn)的一種普遍形式。一切事物都會(huì)發(fā)出信息，因此說，信息無時(shí)不在，無處不有。人類生活在千變?nèi)f化的信息之中，因此必須擁有足夠的信息，才能有效地工作和生活。

信息論中的信息是上述各種信息的抽象化和定量化，它同任何意義無關(guān)，已不存在諸如有意義或無意義、有無目的等概念。對(duì)這種信息的度量，導(dǎo)致了信息熵概念的建立。

信息熵是對(duì)信息的量度有關(guān)概念：隨機(jī)事件—事先不能完全肯定的事件。

幾率—對(duì)隨機(jī)事件結(jié)果的可能性的定量估計(jì)。

C.E.shannon引入不確定程度H—如果一個(gè)事件（如收到一個(gè)信號(hào)）有N個(gè)等可能性的結(jié)局，那么結(jié)局未出現(xiàn)前的不確定程度H與N的對(duì)數(shù)成正比，即 （C為常數(shù)）

C.E.Shannon把不確定度稱為信息熵。

信息熵是對(duì)信息的量度對(duì)N個(gè)結(jié)局出現(xiàn)機(jī)會(huì)并不相等的情況：設(shè)有A1，A2，…An共N個(gè)可能結(jié)局，而每個(gè)結(jié)局出現(xiàn)幾率分別為P1，P2…，Pn，且有 .那么，其不確定程度H為它的某一結(jié)局所具有的不確定性

而整個(gè)系統(tǒng)的各個(gè)結(jié)局所具有的平均不確定性的數(shù)學(xué)期望為信息熵是對(duì)信息的量度信息熵概念的建立，為測(cè)度信息的多少找到了一個(gè)統(tǒng)一的科學(xué)的定量計(jì)量方法，從而奠定了信息論的基礎(chǔ)。

值得指出：信息熵概念的建立，使人們加深了對(duì)熱力學(xué)熵的認(rèn)識(shí)，因?yàn)檫@里引入的信息熵概念，它既不與熱力學(xué)過程相聯(lián)系，也不與分子運(yùn)動(dòng)相聯(lián)系，但信息熵與熱力學(xué)熵有密切關(guān)系。

信息熵是對(duì)信息的量度從以下的推導(dǎo)中可以看到：設(shè)系統(tǒng)的總粒子數(shù)為N，它們可以分布在E1，E2…Ei…Em共m個(gè)能級(jí)上，每個(gè)能級(jí)上的粒子數(shù)分別是N1，N2…Ni…Nm ，則N個(gè)粒子在m個(gè)能級(jí)上的分配數(shù)，即系統(tǒng)的微觀態(tài)數(shù)W為：

由玻耳茲曼公式： 取對(duì)數(shù)

信息熵是對(duì)信息的量度再利用斯特林公式：則上式得：整理后可得：而 ，方括號(hào)內(nèi)的量即信息熵H.所以 這就得到了熱力學(xué)熵與信息熵的定量關(guān)系，二者成正比，從這里已把熱力學(xué)、統(tǒng)計(jì)物理與信息論聯(lián)系起來了。