資訊理論與編碼

本書為“十二五”普通高等教育本科國家級規劃教材。介紹和論述了信息的基本概念；資訊理論的起源、發展及研究內容；香農資訊理論的三個基本概念：信源熵、通道容量和信息率失真函數，以及與這三個概念相對應的三個編碼定理；解決通信系統有效性、可靠性和安全性的三類編碼：信源編碼、通道編碼和安全編碼——密碼的基本方法，以及密碼安全性與資訊理論的關係等內容。為了便於教學和讀者自學，每章後面都附有習題。

第1章 概論（1）

1.1 信息的概念和分類（1）

1.1.1 信息的概念（1）

1.1.2 信息的分類（4）

1.2 資訊理論的起源和發展（4）

1.2.1 資訊理論創立的理論基礎和

技術條件（4）

1.2.2 資訊理論的誕生和發展現狀（5）

1.2.3 資訊理論的未來發展趨勢（6）

1.3 資訊理論的研究內容（7）

1.3.1 通信系統模型（7）

1.3.2 資訊理論研究內容（7）

思考題（8）

第2章 離散信源熵（9）

2.1 基本概念（9）

2.2 離散信源熵的基本概念和性質（9）

2.2.1 單符號離散信源的數學模型（10）

2.2.2 自信息量及其性質（10）

2.2.3 信源熵及其性質（13）

2.3 多符號離散平穩信源熵（19）

2.3.1 多符號離散平穩信源的

數學模型（19）

2.3.2 離散平穩無記憶信源熵（20）

2.3.3 離散平穩有記憶信源熵（22）

2.3.4 馬爾可夫信源的極限熵（25）

2.3.5 冗餘度、自然語信源及

信息變差（29）

習題（31）

第3章 無失真離散信源編碼（33）

3.1 基本概念（33）

3.2 離散無失真信源編碼定理（33）

3.2.1 定長編碼定理（34）

3.2.2 變長編碼定理（35）

3.2.3 碼字唯一可譯條件（36）

3.3 香農編碼（38）

3.4 費諾編碼（39）

3.5 赫夫曼編碼（40）

3.6 遊程組合編碼（44）

習題（47）

第4章 離散通道容量（49）

4.1 互信息量和平均互信息量（49）

4.1.1 單符號離散通道的數學模型（49）

4.1.2 互信息量及其性質（49）

4.1.3 平均互信息量及其性質（52）

4.1.4 各種熵之間的關係（62）

4.2 單符號離散通道的通道容量（63）

4.2.1 單符號離散通道容量定義（63）

4.2.2 幾種特殊離散通道的通道容量（64）

4.2.3 離散通道容量的一般計算方法（69）

4.3 多符號離散通道的通道容量（71）

4.3.1 多符號離散通道的數學模型（71）

4.3.2 多符號離散通道容量定義（72）

4.3.3 離散無記憶擴展通道的通道

容量（73）

4.3.4 獨立並聯通道的通道容量（75）

4.4 網路資訊理論（76）

4.4.1 多址接入通道的通道容量（77）

4.4.2 廣播通道的通道容量（79）

4.4.3 相關信源的邊信息和公信息（80）

習題（82）

第5章 糾錯編碼（85）

5.1 糾錯編碼的基本概念（85）

5.1.1 差錯控制系統模型及分類（85）

5.1.2 糾錯編碼分類（86）

5.1.3 解碼準則（87）

5.1.4 通道編碼定理（88）

5.2 線性分組碼（88）

5.2.1 線性分組碼的基本概念（88）

5.2.2 線性分組碼的編碼（88）

5.2.3 線性分組碼的解碼（89）

5.2.4 典型碼例（92）

5.3 循環碼（95）

5.3.1 循環碼的基本概念（95）

5.3.2 循環碼的描述（96）

5.3.3 循環碼的伴隨多項式與檢錯（101）

5.3.4 BCH碼與RS碼（102）

5.4 卷積碼（104）

5.4.1 卷積碼的矩陣描述（104）

5.4.2 卷積碼的多項式描述（107）

5.4.3 卷積碼的狀態轉移圖與

柵格描述（109）

5.4.4 維特比(Viterbi)解碼演演算法（112）

習題（117）

第6章 連續信源熵和通道容量（121）

6.1 連續信源熵（121）

6.1.1 連續信源熵的定義（121）

6.1.2 幾種特殊連續信源的信源熵（123）

6.1.3 連續信源熵的性質和定理（125）

6.2 熵功率（129）

6.3 連續通道的通道容量（131）

6.3.1 連續通道的數學模型及通道

容量定義（131）

6.3.2 加性連續通道容量計算和

香農公式（131）

習題（133）

第7章 信息率失真函數（135）

7.1 基本概念（135）

7.1.1 失真函數與平均失真度（136）

7.1.2 信息率失真函數的定義（139）

7.1.3 信息率失真函數的性質（140）

7.2 離散信源信息率失真函數（143）

7.2.1 離散信源信息率失真函數的

參量表達式（144）

7.2.2 二元及等概率離散信源的信息率

失真函數（146）

7.3 連續信源信息率失真函數（150）

7.3.1 連續信源信息率失真函數的

參量表達式（150）

7.3.2 高斯信源的信息率失真函數（151）

7.4 信息價值（154）

7.5 通道容量與信息率失真

函數的比較（157）

習題（157）

第8章 限失真信源編碼（159）

8.1 基本概念（159）

8.2 保真度準則下的信源編碼定理（159）

8.3 量化編碼（160）

8.3.1 最佳標量量化編碼（160）

8.3.2 矢量量化編碼（164）

8.4 相關信源編碼（167）

8.4.1 預測編碼（167）

8.4.2 差值編碼（169）

8.5 變換編碼（172）

8.5.1 子帶編碼（172）

8.5.2 小波變換（173）

習題（175）

第9章 密碼安全性的資訊理論測度

方法（177）

9.1 基本知識（177）

9.1.1 保密通信系統模型（177）

9.1.2 密碼基本概念（178）

9.2 密碼演演算法的安全性測度（178）

9.2.1 完善保密性（179）

9.2.2 唯一解距離（180）

9.3 古典代替密碼的安全性分析（180）

9.3.1 加法密碼的安全性分析（181）

9.3.2 乘法密碼的安全性分析（183）

9.3.3 仿射密碼的安全性分析（185）

9.4 邊信息泄露的互信息分析（186）

9.4.1 數據加密標準簡介（186）

9.4.2 DES演演算法的邊通道安全性分析（188）

習題（191）

參考文獻