資訊理論

資訊理論將信息的傳遞作為一種統計現象來考慮，給出了估算通信通道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－通道隔離定理相互聯繫。

香農被稱為是“資訊理論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義：

這一定義可以用來推算傳遞經二進位編碼后的原信息所需的通道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。

資訊理論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。資訊理論中的熵也正是受之啟發。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：

其中是聯合熵(Joint Entropy)，其定義為：

互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。

資訊理論是20世紀40年代後期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，並試圖度量系統的通道容量。現代資訊理論開始出現。

1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代資訊理論的基礎。

由於現代通訊技術飛速發展和其他學科的交叉滲透，資訊理論的研究已經從香農當年僅限於通信系統的數學理論的狹義範圍擴展開來，而成為現在稱之為信息科學的龐大體系。

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬於信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源：信息的源泉或產生待傳送的信息的實體，如電話系統中的講話者，對於電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。

信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，後者把接收到的電信號轉換成聲音，供聽者提取所需的信息。

通道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器：在資訊理論中是泛指所有變換信號的設備，實際上就是終端機的發送部分。它包括從信源到通道的所有設備，如量化器、壓縮編碼器、調製器等，使信源輸出的信號轉換成適於通道傳送的信號。

解碼器：是編碼器的逆變換設備，把通道上送來的信號轉換成信宿能接受的信號，可包括解調器、解碼器、數模轉換器等。

當信源和信宿已給定、通道也已選定后，決定信息系統性能就在於編碼器和解碼器。設計一個信息系統時，除了選擇通道和設計其附屬設施外，主要工作也就是設計編解碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送儘可能多的信息；而可靠性是要求信宿收到的信息儘可能地與信源發出的信息一致，或者說失真儘可能小。最佳編解碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率並證明達到或接近這一值的編解碼器是存在的，就是資訊理論的基本任務。只討論這樣問題的理論可稱為仙農資訊理論般認為資訊理論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。後者就是估計理論、檢測理論和密碼學。

資訊理論是建立在概率論基礎上而形成的，也就是從信源符號和通道雜訊的概率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小於語法信息率；電報的信息率可低於表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小於語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關於語法信息，已在概率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關於後者的論述通常稱為信息科學或廣義資訊理論，不屬於一般資訊理論的範疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、通道特性和通道編碼、檢測理論、估計理論以及密碼學。

編碼學

密碼學與密碼分析學

數據傳輸

數據壓縮

檢測理論

估計理論

政治學（政治溝通）

資訊理論是一門用數理統計方法來研究信息的度量、傳遞和變換規律的科學。它主要是研究通訊和控制系統中普遍存在著信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。

資訊理論的研究範圍極為廣闊。一般把資訊理論分成三種不同類型：

(1)狹義資訊理論是一門應用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。

(2)一般資訊理論主要是研究通訊問題，但還包括雜訊理論、信號濾波與預測、調製與信息處理等問題。

(3)廣義資訊理論不僅包括狹義資訊理論和一般資訊理論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。

信息是確定性的增加----逆Shannon信息定義；

信息是物質、能量、信息的標示----Wiener信息定義的逆;

信息是事物及其屬性標識的集合。

信息就是一種消息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數學理論》的論文中系統地提出了關於信息的論述，創立了資訊理論。維納提出的關於度量信息量的數學公式開闢了資訊理論的廣泛應用前景。1951年美國無線電工程學會承認資訊理論這門學科，此後得到迅速發展。20世紀50年代是資訊理論向各門學科衝擊的時期，60年代資訊理論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由於數字計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農資訊理論的狹隘範圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。人們已把早先建立的有關信息的規律與理論廣泛應用於物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。

信息科學是人們在對信息的認識與利用不斷擴大的過程中，在資訊理論、電子學、計算機科學、人工智慧、系統工程學、自動化技術等多學科基礎上發展起來的一門邊緣性新學科。它的任務主要是研究信息的性質，研究機器、生物和人類關於各種信息的獲取、變換、傳輸、處理、利用和控制的一般規律，設計和研製各種信息機器和控制設備，實現操作自動化，以便儘可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學在安全問題的研究中也有著重要應用。

Materialism

物質、能量與信息是組成世界的三大要素。人們已經很深入地了解了物質與能量，而對信息的認識才剛起步。那麼，信息是什麼？它又是以何種方式存在的？它有著怎樣的作用？以下是我的猜想，希望對人類進一步認識世界有一定幫助。

一、信息的定義

非世界三要素的信息定義：信息是事物及其屬性標識的集合。不含世界三要素的的信息定義.

含三要素的信息定義：

1．信息是確定性的增加----逆Shannon信息定義；

2．信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.

信息（information）是客觀事物狀態和運動特徵的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對於我們所生活的三維空間而言的，信息還有更深藏的本質。那麼，難道信息還存在於四維空間（這裡所說的四維空間不包括時間，而是空間的四維狀態）中嗎？是的，但要明確一點，信息只存在於四維空間，三維空間中的信息只是四維空間中真實信息的影子。信息大量存在於四維空間中，其本質是在四維空間中存在的一種信息子（informer，假想的存在於四維空間的組成信息的基本單位）的規則排布。

信息是事件（corritor）發生的根本原因，這將在第三節中細作分析。

二、信息的性質

信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯繫（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

三、資訊理論機制

在平常狀態下，信息子雜亂無章地分佈於四維空間中。當三維空間中的分子摩擦碰撞時，其中的能量逃逸到四維空間中，啟動了信息子的規則排布，排布好的信息子又將能量釋放出來，進入三維空間，引起其他分子的摩擦碰撞，如此循環下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經衝動的鈉鉀離子、引起雷電的電荷），並且有一定物質的量的決子被引起摩擦碰撞時，事件發生。當然，不同分子摩擦碰撞產生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。

然而，在宇宙爆炸前只有信息存在，一個決定因素（現在還不了解這個因素是什麼）導致了信息子的偶然規則排布，一部分信息子轉化為能量（信息子轉化為能量是有一定條件的，這隻有在宇宙爆炸前或初期才能實現），能量再在一定條件下轉化為物質，並繼續轉移轉化，最終形成了我們現在的宇宙。因此，信息子的有序排布是事件發生的根本原因，物質摩擦碰撞是事件發生的直接原因，而能量的傳遞是事件發生的必要條件。

四、資訊理論假說的實例

1．思想與記憶：思想是我們一直捉摸不透的東西，而按照資訊理論假說來講，思想其實就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規則排布，在三維空間中的表現就是產生電流，引起腦細胞的活動，這便是思想的本質，當然，不同信息表現出不同思想。然而，這不等於我們的思想是早已限定好了的嗎？其實就是這樣。只不過我們腦中分子數量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們的思想不過也只開發了很少一部分。現實中我們所謂的思想還要有另一個因素，那就是需要通過一個完整複雜的調節機制將其表達出來，這個調節機制對於人類來說便是神經系統，因此只有我們能將複雜的思想表達出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產生思想的分子（記憶的決子）時，以前的思想便會再次通過特定信息子的規則排布表達出來。這樣看來，我們的思想是連續的，前一刻的思想直接決定了后一刻的思想，只是我們並沒發覺也沒有手段去發現罷了。

2．生命現象：人的生老病死也可以通過資訊理論假說來解釋。人生病其實是不融合分子（細菌或病毒）與體內分子摩擦引起的信息。成長其實是各種各樣的外界分子（如鈣離子）進入人體內與體內分子摩擦引起的信息。衰老與死亡是細胞內分子摩擦引起的信息，其宏觀表現為細胞的衰老與凋亡，進而影響人。

3．預感與巧合：預感是思想的一種極特殊的形式，當腦中某些分子摩擦引起信息子排布后，信息並未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預感決子的摩擦，剩下的能量則在另外的時刻釋放出來，並由於與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預感。巧合也是一種極特殊的現象，其本質是信息釋放的能量分為兩半進入到三維空間中的不同地點，引發相同分子的摩擦，從而引起不同地點相同事情的發生，這一般出現在同卵雙胞胎身上，因為其基因的相似性決定了其相同分子摩擦的幾率較大。

4．夢與不實印象（untrue impressions）：夢是在無意識情況下產生的思想，其本質也是信息。我們平時會產生不實印象，看到某情景感覺以前似乎發生過，可是以前卻並沒有發生，其實這是因為腦內分子摩擦引起信息，而信息並沒有將能量馬上釋放出來，而是暫時儲存起來，當另一時刻又有同樣的分子摩擦時，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產生印象，這便是不實印象的本質。

5．化學反應：一切化學反應的本質都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學鍵斷裂與形成，完成化學反應。

6．命運與靈魂：古人相信命運，可能是冥冥之中感到在另一空間中我們是早已被安排好的個體，於是出現了人類對靈魂、神的遐想。

五、資訊理論假說的意義

資訊理論假說將物質與思想相統一，它是唯物主義發展所必經的一步，它用唯物的觀點解釋了人類一直無法弄清的問題。它自身只是一個假說，需要人類長時間去探索與證明，它自身也存在缺陷，需要人類的不斷發現。也許它本來就是個錯誤，但它是人類成長的見證，是人類偉大的精神財富。

用資訊理論假說的觀點看問題，可以使人類認識到一個全新的世界，並有助於探索世界更深的本質。它給人類提供了一個豐富的經驗，是人類跳出固有思想看問題的典範。總之，不管它是否正確，它都是人類的不朽之作。

本書共分七章，第一章為緒論，介紹信息的基本概念和定義，資訊理論的起源、發展和研究內容；第二章為信源與信源熵，介紹各種熵的概念、性質、定理等；第三章為無失真信源編碼，介紹了信源的定長和變長編碼定理、方法，以及幾種實用的無失真信源編碼；第四章為限失真信源編碼，介紹了信息率失真函數的定義、性質、計算及語音、圖像信號的預測編碼；第五章為通道及通道容量，介紹了單符號離散通道、多符號離散通道和多用戶通道的通道模型及通道容量的計算；第六章為通道編碼，介紹了通道編碼的基本概念、通道編碼定理、線性分組碼和循環碼；第七章為網路信息安全及密碼學，介紹了密碼學的基本概念、各種加密演演算法及數字簽名等技術。